克孜勒苏柯尔克孜自治州作为地区级行政建置，始建于1954年7月14日。

根据《中国人民政治协商会议共同纲领》中关于“各少数民族聚居的地区，应实行民族区域自治”的规定和1953年3月《新疆省民族区域自治实施计划》的规定：“以阿克苏专区所属阿合奇县全部、乌什县的柯尔克孜族聚居区与喀什专署所属乌恰县全部、阿图什县、蒲犁县、英吉沙县的柯尔克孜族聚居区及疏附县毗连乌恰县的吾帕区之大部合并建立一个相当于专署一级的柯尔克孜族自治区，其自治机关为一级地方政权，受新疆省人民政府的直接领导。”中共中央新疆分局和南疆区党委于1954年2月9日决定在柯尔克孜族聚居区建立柯尔克孜区域自治机构。同年2月25日，南疆区党委在喀什召开柯尔克孜族上层人士、宗教民主人士、部落头目、牧主和工作干部会议，成立柯尔克孜族区域自治筹备委员会。委员共33人，买买提艾沙·阿依白尔地为主任委员，阿曼吐尔·巴依扎克为副主任委员。筹委会在南疆区党委领导下工作，办公地址设在喀什色满村。2月28日，南疆区党委印发《关于推行柯尔克孜与塔吉克民族区域自治的工作计划》。4月12日，南疆区党委批准赵子和为柯尔克孜民族区域筹委会书记，阿曼吐尔·巴依扎克为副书记。

筹委会首先培训了890多名民族区域自治政策宣传员，同时发动各阶层积极分子，深入广大柯尔克孜族聚居的农村牧区，向广大群众宣传党的民族区域自治政策。筹委会根据中央人民政府颁布的《中华人民共和国民族区域自治实施纲要》和《新疆省民族区域自治实施计划》的规定，对自治单位的行政区划、名称、民族组成、干部比例等在广泛征求各族各界群众意见的基础上，进行了充分的协商讨论和研究。

5月8日，柯尔克孜族区域筹备委员会在喀什召开第二次会议，新疆省主席包尔汗、省政府秘书长扎克诺夫，南疆区党委第四书记伊敏诺夫、统战部副部长阿不力孜参加会议，会议确定7月初召开代表会议，正式成立柯尔克孜族区域自治政府。

6月17日，柯尔克孜族区域自治筹备委员会在喀什召开第三次扩大会议。会议确定，柯尔克孜族区域自治单位为专区级，行政区划为喀什专区柯尔克孜簇聚居的乌恰县、阿图什县以及阿克苏专区柯尔克孜族聚居的阿合奇县3县。划归柯尔克孜自治区。自治区的名称确定以柯尔克孜语克孜勒苏河命名为“克孜勒苏”，意为“红水”，自治单位的全称为克孜勒苏柯尔克孜自治区。

经中共中央新疆分局和新疆省人民政府批准，7月14日，克孜勒苏柯尔克孜自治区第一届人民代表大会第一次会议在首府阿图什召开，正式宣布以柯尔克孜族为自治民族的多民族自治区克孜勒苏柯尔克孜自治区成立。会议选举产生克孜勒苏柯尔克孜自治区人民委员会和自治区正副主席。

克孜勒苏柯尔克孜自治区辖阿图什、乌恰、阿合奇3县，机关驻地为阿图什镇。境内有11个常住民族，人口约12.49万，其中柯尔克孜族4.86万人。

克孜勒苏柯尔克孜自治区隶于新疆省南疆行政公署。

1954年9月，从疏附、疏勒、英吉沙、蒲犁4县的柯尔克孜族聚居区划出 31个乡，从乌恰县的柯尔克孜族聚居区划出2个乡，成立阿克陶县（国务院1955年1月批准），划归克孜勒苏柯尔克孜自治区。克孜勒苏自治区共辖阿图什、阿克陶、乌恰、阿合奇4个县，境域面积达7.09万平方千米。