1260年，在他登基后一个月内，他便成立了中书省，由王文统担任中书省平章政事，张文谦为其主要助手（中书左丞）。中书省主要负责处理大多数的政务。1263年，他建立了枢密院，负责军事。五年后，最后一个主要机构御史台成立了，负责监察和向忽必烈报告汉地官员的情况。这些机构在各省都设有分支机构（行），负责执行中央政府决定的政策。这些机构负责全国事务，此外还有很多专为大汗和皇宫提供服务的特殊机构，例如内务府、将作院等。
忽必烈简化并整合了行政管理系统。他采取了高鸣的建议，废除了自唐朝起就设立的门下省和尚书省，但保留了中书省，六部也并入中书省，该机构全权负责行政事务。由于只有一个机构负责，行政管理应该进行得更顺畅。呈报皇帝的所有奏折都要经过中书省过滤，中书省负责起草法律，解决“涉及死刑之案件并设断事官辅助之”。中书令经忽必烈批准，得做出重要决策，由各部负责执行。左丞相和右丞相负责向皇帝提出建议，并负责六部，而六部则负责贯彻执行政府政策，并在中书令患病、出行或无法视事时代行其政。
巩固汗位
1264年8月21日，阿里不哥向忽必烈投降。胜利之后忽必烈立即向各系兀鲁思派去急使，召他们东赴蒙古草原，重新召开忽里台大会。世祖重开忽里台的目的，是因为他考虑到中统元年三月二十四日仓促即位于开平，没有四大兀鲁思的代表参加，不符合成吉思汗的扎撒（法律），故而准备依照传统惯例，在祖先发祥地斡难---怯绿涟之域召开由各系宗王参加的忽里台，重新确立自己的大汗地位，并借这次大会扼制帝国分裂的趋势。
钦察汗别儿哥、察合台汗阿鲁忽和伊利汗旭烈兀（忽必烈之弟）一致同意东来赴会。元世祖也向窝阔台汗海都派去了急使，但海都拒绝前来。当然，这次原定于至元四年（1267年）召开的忽里台没能如约举行，主要是因为各汗国之间随后爆发战争，以及在此后一年多时间里阿鲁忽、旭烈兀、别儿哥三位汗王先后去世。（旭烈兀1265年去世，别儿哥、阿鲁忽1266年去世，他们不可能参加1267年的忽里台，否则蒙古帝国皇族之间的内斗也许可以停止）。但窝阔台汗海都的抗命已经明白无误地表明了反叛意图。
1269年，钦察汗国、窝阔台汗国与察合台汗国召开塔剌思忽里台会，达成了共同反对拖雷家族控制的大汗直辖地（忽必烈实际控制区）和伊儿汗国（旭烈兀家族控制区），并划分各自在阿姆河以北地区的势力范围的协议。塔剌思大会是大蒙古国分裂解体过程中的一个重要事件，从此察合台汗国和窝阔台汗国脱离了大蒙古国皇帝（蒙古大汗）的直接控制，对此后数十年中亚历史的发展产生了深远的影响。
窝阔台汗海都一直和忽必烈对着干。企图夺取大汗之位。终元世祖忽必烈一朝，元朝和窝阔台汗国，察合台汗国征战不休，直到元成宗时期才彻底解决西北问题。
直到1303年，元成宗与西北诸王达成和议，西北诸王承认元朝的宗主地位，彼此之间设驿路，开关塞，四大汗国一致承认元朝皇帝是元太祖成吉思汗皇位的合法继承人，是整个大蒙古国名义上的最高统治者。
