グローブトロッターズの起源についての明確なコンセンサスはない。公式のチーム史
[http://www.harlemglobetrotters.com/news/tl_1920s.html Globetrotters formation. 公式サイトより]には、チームは
1926年にサボイ・ボールルーム(
1927年オープン
[http://chicago.urban-history.org/sites/ballroom/savoy.htm Opening of Savoy Ballroom, Chicago])で結成されたとしているなど、明らかな誤りが含まれている。チームの起源について明らかにされているのは、
シカゴのサウス・サイド
[シカゴの中でも伝統的にアフリカ系の住民が多い地域。現在ではシカゴの犯罪多発地域のひとつに数えられている。]で
1920年代に結成されたということである。チーム創設当時のメンバーはみなサウス・サイドの出身で、全員かその多くがウェンデル・フィリップス高校に通っていた。
1927年にサボイ・ボールルームがオープンすると、
ダンスの前にサボイ・ビッグ・ファイブという
バスケットボールの
エキシビションが行われ、初期におけるアトラクションのひとつとなっていた。
1928年、チームを離れた選手を連れ戻すか否かで争いとなり、それがもととなって数人の選手がチームを離れた。同年秋、トミー・ブルックリンに率いられた数人の選手が「グローブトロッターズ」と呼ばれるチームを結成し、冬には
イリノイ州南部各地を転々としながら試合を行った。どのような経緯からかは明らかではないが、
エイブ・セイパースタインという
白人がこの頃からチームに関与するようになった。
1929年、このセイパースタインのチームは「ニューヨーク・ハーレム・グローブトロッターズ」と名乗り、イリノイ州と
アイオワ州を回って試合を行った。セイパースタインが
ハーレムをこのチームのホームとして選んだ理由としては、当時ハーレムが
アフリカン・アメリカンの文化の中心地であったこと、さらに町の外ではその名がチームに神秘的な雰囲気を与えるものであったことが挙げられる
[http://www.wttw.com/main.taf?p=1,7,1,1,18]。グローブトロッターズがハーレムで初めて「ホーム」の試合を行ったのは、チーム創設から40年後、
1968年のことであった。
グローブトロッターズの最初のスタープレイヤーはアルバート・「ラント」・プリンズであった。プリンズはドリブル・シュートのいずれにおいても秀でていた。その後すぐに193cmの身長を持ち、人目を引く才能を持つセンター、インマン・ジャクソンがチームに加入した。この2人の存在が、後々にも長くグローブトロッターズの特徴となる、ドリブラーとショーマンを兼ね備えるチーム性の根源となった[Green, Ben. Spinning the Globe. pp42-57. Amistad. 2005.]。
当初はグローブトロッターズは勝利を追求したチームで、ある種の娯楽志向はあったものの、安全圏と言えるリードをつけるまでは観客に対しておどけることはしなかった。
1937年、グローブトロッターズは世界プロバスケットボールトーナメントに招待された。チームは準決勝まで進んだが、グローブトロッターズ同様全員アフリカン・アメリカンのチームである
ニューヨーク・ルネサンスに破れた。勝ったルネサンスはその年のトーナメントで優勝した。
1940年、再びトーナメントに出場したグローブトロッターズは準々決勝でルネサンスと対戦し、勝利して3年前のリベンジを果たした。チームはそのまま決勝に進んで
シカゴ・ブルーインズと対戦、延長の末37-36で勝利し、優勝した。
グローブトロッターズは初期のプロチームとも戦って勝利を収めた。ミネアポリス・レイカーズ(現
ロサンゼルス・レイカーズ)には
1948年・
1949年と2年連続で勝利した。1948年2月の61-59での勝利は、アフリカン・アメリカンばかりのグローブトロッターズが白人ばかりのレイカーズに勝つことで、互角に戦い得ることを証明した、プロバスケットボール史上に残る試合であった。やがて
NBAにおける人種隔離撤廃の機運が高まり、
1950年にNBA史上初の黒人プレーヤーとして
チャック・クーパーが
ボストン・セルティックスに入団した。しかしその頃から、グローブトロッターズは人材獲得に悩むようになった。