在《水浒传》中，大刀关胜是一位极为重要的人物。他武艺高强、精通兵法。同时关胜在梁山也有着极高的地位，在一百零八条好汉当中的排名高居第五位，位居马军五虎将之首。关胜的战绩和表现有目共睹，只是结局令人有些匪夷所思，经历了那么大的风浪都能全身而退，仅仅只是多喝了几杯酒就丢了性命，着实有些惨不忍睹。
在《水浒后传》中，作者并没有采用《水浒传》中的结局，而是让关胜再度大显神威，在海外过上了幸福美满的生活。梁山好汉们南征凯旋之后，关胜被任命为大名府的正兵马总管。起初一切风平浪静，关胜整日忙于军中事务，偶然还能跟几个处得不错的同僚一起喝喝小酒，日子过得好不惬意。然而，金军入侵后，关胜的好日子也算到了头。
金军进入宋境之后，一路势如破竹，攻城掠地，所向披靡。但当打到大名府附近时，却急转马头折回去了。这是怎么回事儿呢？原来，金人虽然兵锋犀利，攻下诸多城池，但却无法尽收人心，被占地区的百姓经常奋起反抗。为了改变这一状况，金军统帅采用宋人治宋、分而治之的策略，命金军将领挞懒坐镇监督，将河北地区分置为齐国，立大名府太守刘豫为帝。
刘豫接受金国的册封后，喜不自胜，一边搜罗民财兴修宫殿，一边广设百官册立后宫。大部分河北众文武迫于压力，只得委身于刘豫手下，唯有正兵马总管关胜对刘豫等人的卖国求荣之举心中不忿，不仅不接受刘豫任命的征南大元帅之职，还出言规劝刘豫。不料，关胜一番慷慨激昂的劝谏激怒了刘豫。他当即命人将关胜押赴刑场，要当众斩首，以儆效尤，幸亏几个同僚出面求情才保住性命，被关进了监牢。此事被燕青、杨林等人得知后，用计将救出了关胜及其家眷。随后，关胜与燕青等人上了饮马川，再度占山为王。
不久后，龙角冈强贼毕丰与高鸡泊的张信率领五千人马为先锋，金将秃鲁和大宋叛将刘猊率领一千精锐骑兵为后阵，浩浩荡荡向饮马川杀来。李俊闻讯后立即做出了部署，关胜跟随众兄弟一同下山迎敌。在此战中，李俊迎战毕丰，关胜对阵张信。双方交战二十几个回合后，毕丰与张信双双败下阵来，落荒而逃。在追击的过程中，关胜等人又歼敌千余人，取得了此战的胜利。
过了几天，金将秃鲁和大宋叛将刘猊带着二人复来叫阵，关胜等人再次领兵出战。刘猊在关胜手下强撑了三个回合便落荒而逃。金将秃鲁一看关胜碾压刘猊便心里发毛，未曾交手便领着一千骑兵掉头就跑，关胜等人再次轻松获胜。
此战结束后，李俊召集众兄弟商议未来的发展方向，关胜主张攻入大名府，诛杀刘豫，将金军赶出河北地区。不过，这一建议却遭到众多好汉的否定。他们认为，大明府驻扎着三万叛军，又有坚固的城墙可守，仅靠饮马川的三千余勇士，无异于杯水车薪。最终众人决定渡过黄河，向建业挺进。
饮马川众人行进至黄河渡口时，关胜一马当先迎战金军将领乌禄。乌禄在大刀关胜手下勉强支撑了三十几个回合，狼狈逃窜。渡过黄河后，关胜跟随众兄弟转战郓城、济州、登州等地，斩杀了多位叛臣叛将。此后，饮马川与登云山的众好汉远渡重洋，与金鳌岛的李俊等人会合，众人齐心合力征服了暹罗，关胜因战功卓著，被任命为前军都督。
后来，革鹏、铁罗汉、屠崆、余漏天等海贼私通贼寇抢占三岛，关胜率领前军对战敌将关白，但在水战中，关胜却疏于防备时，战船被毁，首战便宣告失利。此后，李俊率部赶到，与关胜一起扭转局势，歼敌一万余众。随后，关胜率部斩杀了海贼屠崆，收复了白石岛。大宋朝廷为了表彰关胜的功绩，晋封其为五虎大将军，赐爵列侯。
