Nokdo nemůže s jistotou říci, jaký původ má americký quanter. Říká se, že je to nejstarší plemeno ve Spojených státech a je potomkem koně chickawas, jehož osadníci převzali od Indiánů. Tito koně byli malého a zavalitého vzrůstu, zřejmě španělsého původu. První osadníci se rádi bavili jezdeckými soutěžemi, a k nim samozřejmě potřebovali rychlé koně. Plnokrevníci, kteří se na území Ameriky dostali ještě předtím, než v Anglii vznikla plemenná kniha, se zřejmě podíleli na vzniku tohoto plemene.
Jméno quanter dostal podle délky tedhdejšího závodiště, tj. čtvrt míle. Po celých Spojených státech se konaly dostihy koní, i když ne na hezkých dlouhých rovných tratích, jak to mu bývá dnes. Spíše šlo oširoké pláně u osadnických vesnic.
Soutěžili mezi sebou bud´ majitelé koní koní nebo jejich jezdci a vítězem se stal vždy ten, kdo měl zkrátka nejrychlejšího koně. Chov quanterů i anglických plnokrevníků postupoval na americkém kontinentě stejným tempem. Někteří plnokrevníci sloužili jako chovní koně i pro quantery, a spousta koní na krátkou vzdálenost byla v americké plemenné knize zanesena jako plnokrevníci i přesto, že ne všechny jejich pokrevní linie vycházrjí z anglické plemenné knihy. Podle jiné teorie byl quanter vyšlechtěn mnohem později na americkém jihozápadě. Lidé tam totiž rádi pořádali dostihy na krátké vzdálenosti a kovbojům se hodil kůň, který dovedl okamžitě zrychlovat, byl snadno ovladatelný a vhodný také pro práci s dobytkem. Možná by bylo vhodnější tehdejší quantery označovat jako typ a nikoli jako skutečnné plemeno. Nicméně dnes je americký quanter jako skutečné plemeno uznáván.