永芹到了回疆也没法子，他虽然不像斌静那么荒淫无耻，但庸庸碌碌的，也剿灭不了叛匪。张格尔招集了许多党羽，又勾结外面的人，多次骚扰边境。清兵过来攻打，他就逃跑，清兵走了，他就再来侵犯，就像膏药一样，粘到身上甩不开。有的时候，他又假装来投降。弄得永芹焦头烂额，一连折腾了三年，仍然没有一点效果。道光五年夏天，边关上报告张格尔大举入侵，领队大臣巴彦图仗着自己体格好，率领着二百多人去剿灭，走了四百里，也没有见到张格尔的踪迹。他竟然勃然大怒，走到布鲁特地方，看到有回民在游牧，老的小的，总共有二三百人，就下令让士兵杀过去。吓得回民四散逃跑，只有妇女和儿童一时跑不了，被他见一个杀一个，可怜这些无辜的人，都被巴彦图杀死了。
巴彦图稍微发泄心里的郁闷，立刻带领队伍回去。没想到，逃回去的人，因为妇女和孩子被杀，都跑到回族酋长汰列克那儿哭诉。汰列克听完大怒，立刻率领部众二千名前来追袭，把巴彦图围住，十个杀一个，霎时间把清兵全部杀掉，接着就和张格尔联合进兵，非常嚣张。永芹没办法隐瞒，急忙请求支援。道光帝就把永芹召回去，命令伊犁将军庆祥去代替，又让大学士长龄去代替庆祥原来的职务。
庆祥到了喀什噶尔，招集司员章京及各城的伯克商议。伯克中有个阿布都拉，自称对回族的事非常熟悉，庆祥就详细询问他张格尔的情形。他却说张格尔是假名，冒充和卓木的后裔，以前都是阿奇木王努斯的谎报，所以才哄动一时。参赞大人现在到了这里，根本不用一兵一卒，只要说张格尔不是回族，回民肯定立刻不去依附他了，这样这群反贼很容易就能消灭了。
庆祥信以为真，一面通知回族人民，一面揭发批判阿奇木王努斯谎报的罪状。张格尔得到这个消息，也害怕人心离散，就带着五百人回到回城，拜奠他先祖和卓木的坟墓。回徒叫和卓坟为玛杂，非常尊敬。玛杂在喀城外，距离喀城约八十多里，乾隆时，大小和卓木被灭掉，所有喀城外原有的和卓等墓，仍然下令让回族人看守，不准上去砍柴、撒尿之类的。
张格尔就打算借着祭祖的名头，固结众心。因为有这番举动，协办大臣舒尔哈善、领队大臣乌淩阿急忙报告给了庆祥。庆祥急忙召见阿布都拉，阿布都拉已经不知去向。庆祥顿时有些仓皇失措，还是舒、乌两人报告说：“张格尔深入喀境，非发兵驱逐不可。”
庆祥点头，命令二人带一千多名士兵去攻张格尔。二人早晨出发，傍晚到达，仗着锐气杀死回众四百人。张格尔退到了大玛杂内，倚着三重墙垣，誓死固守。又派人去散播谣言，说清军要铲除圣墓，屠尽回族的子孙。回民听说以后非常惊恐，很快聚集了几千人，去救张格尔。舒、乌两大臣正在围攻玛杂，忽然看见回民像潮水一样涌过来，急忙分兵抵御，没提防张格尔也乘势杀出来，内外夹攻，把清兵杀得七零八落。舒大臣阵亡，乌大臣踉跄逃回去见庆祥。庆祥急忙调派各营士兵，全部聚集到喀什噶尔，保卫喀城。
张格尔倒也不敢逼得太紧，又派人到浩罕国求援。浩罕王摩诃末阿利刚即位，知人善任，威服附近哈萨克各个部落。当时有百回兵不如一安集延的传闻，安集延就是浩罕东城。张格尔跟浩罕约定，等得到回疆西四城后，子女玉帛可以平分，还答应割让喀城作为酬劳。
浩罕王大喜，当即答应发兵，让来人先回去。张格尔知道有后援了，立刻率军大举进攻。前哨到了浑河，打听到喀域外面只有三座清营，报告给了张格尔。张格尔说：“这么说来，天山北路的清军还没有南下，我们得赶紧前进才好。”于是下令渡河。
忽然有人报告说浩罕王亲自率兵赶过来了，张格尔不由惊疑地说：“浩罕的兵怎么来得这么快？这可真是出乎意料。我还以为清朝大部队聚集到这儿了呢，所以才请求浩罕帮忙，现在喀城守兵这么少，半天工夫就能攻下来，还要浩罕的兵有什么用？”于是，他就想抵赖，立刻派人到浩罕军前，叫他不用前进了。
浩罕王非常愤怒，竟然率军渡河，围攻喀城。张格尔一看阻挡不了浩罕的人，就暗地里安排人去阻截浩罕王的退路。浩罕王攻城好几天，心急攻不下来，又打听到张格尔不怀好意，害怕腹背受敌，就连夜带兵回去了。
刚渡过浑河对岸，树林中就杀出一帮回众，大叫浩罕王别走，吃我一刀。浩罕王不看不要紧，一看差点没把鼻子气歪，这人正是张格尔。浩罕王气得无名火高起三丈，立刻率兵接战。
黑夜里也分不清回众到底多少，就觉得越杀越多，四面八方好像都是回部的旗帜，安集延兵马虽然精锐，这时候也有点胆怯，浩罕王急忙夺路逃跑。还有安集延兵二三千名被张格尔围住，无路可退，没办法只好缴械投降了。
张格尔把这帮人收为亲兵，又去进攻喀城。这时喀城外面的清营抵御安集延兵已经好几天了，累得人疲马倦，哪里还经得起张格尔这支生力军又杀过来，领队大臣乌淩阿、穆克登布全都战死了。
庆祥困守孤城，左思右想，也没想出个办法，最后一咬牙，悬梁自尽了。喀城无主，就被张格尔攻破了，紧接着他又占领了英吉沙尔、叶尔羌、和阗三城，回疆西四城也全都沦陷了。
清政府接连接到警报，急忙遣兵调将，忙得不得了。道光帝下了道圣旨，命令陕甘总督杨遇春为钦差大臣，统领五千陕甘兵赶赴回疆，会合各路人马去剿灭叛军。又命令陕西巡抚卢坤，赶赴肃州去办理军饷。
命令刚下达，紧接着又接到了伊犁将军长龄的急奏。报告中说：“匪军已经占领了巢穴，正在蠢蠢欲动，喀城距离阿克苏两千里，四面是回村，中间大多是戈壁，不是伊犁乌鲁木齐六千援兵就能收复的，恳请迅速发大兵四万，用一万五千兵力来保护粮台，二万五千兵力来剿灭匪军。”
道光帝看完以后，立刻任命长龄为扬威将军，颁发证书，军营大小官员都受他的管制，伊犁将军的职务则暂时由德英阿代理。又命令山东巡抚武隆阿率领吉林、黑龙江三千骑，出嘉峪关，与陕甘总督杨遇春一同担任参赞大臣，去剿灭匪军。
回疆一共分为八城，西四城已全部失陷，还有东四城未失：一名喀喇沙尔，一名库车，一名乌什，一名阿克苏。阿克苏为东部的屏障，张格尔派兵入侵，直到浑巴什河，距离阿克苏只有四十里。城中的兵还不到一千，人心惶惶，幸亏办事大臣长清派参将王鸿仪领兵六百，守住河岸，两战两胜，回民这才退回去。不久援兵赶到阿克苏，东四城这才得以保全。
道光帝又命令长龄查办历任回疆官员，长龄举报了斌静、色普徵额、巴彦图、绥善等人的情况。于是，皇上就下命令将斌静、色普徵额弄进了监狱，打算砍脑袋；绥善被发配到了黑龙江；巴彦图因为滥杀，死了不能算是因公殉职，只是稍微照顾。又让办理粮饷的大臣定好体例，绘好图，核实开销，不能胡花滥花。并且开采回疆的铜山，铸普尔钱，分配给乌里雅苏台和伊犁分别牧牛马骆驼，以接济军用，回疆的军务这才稍微有点起色。
道光七年，扬威将军长龄率步骑二万二千名，由阿克苏出发，一路行进，没有看到敌踪。到了洋阿巴特沙漠，已经过了半个月，粮食也都吃光了。正在恐慌的时候，忽然有人报告说，前面五六里外有几座敌营。长龄就下令说：“我们从阿克苏赶到这里，粮食已经吃光了，现在敌营就在前面，不趁着这个时候去抢粮食，还等到什么时候！”
将士们得到这个命令，个个摩拳擦掌，士气高昂。长龄就把士兵分为三队，自己和杨遇春领中军，武隆阿领左翼，杨芳领右翼，三路进攻。回众据冈迎敌，由高临下，声势也不弱。
清兵夺粮心急，顾不上什么石头弓箭，拼了命地往上冲。回民抵挡不了，纷纷四散溃逃，剩下的牲畜粮食，都被清兵给搬走了。清兵有了粮食，精神头倍儿足，接着追到沙布都特。这儿有很多苇湖，回徒四处分扎，决水成河，来阻住清兵去路。长龄命令士兵冒险趟水过河，用短兵接战，又率领骑兵绕到左右水浅的地方，来阻截敌人。