胡同一词最初见诸元杂曲。关汉卿《单刀会》中，有“杀出一条血胡同来”之语。明人沈榜在《宛署杂记》中进一步说：胡同不是汉语，而是蒙古语。
“胡同”的本义是蒙古语“井”的意思。在今天蒙古族居住的地方，用“井”做地名的现象仍然很普遍。如：“赛音忽洞”（好井）、“乌克忽洞”（死井）、“哈业忽洞”（双井）等。这是因为，人居住的地方必须有水，水井和老百姓的日常生活息息相关。水井就在两排四合院之间的小巷里，所以市民把水井所在的小巷也称为“胡同”。
在东汉许慎著、北宋初年徐铉校定的《说文解字》一书里，就有“衙”字。解释是“衙，通街也”。然而，“衚秱”二字连在一块儿出现，则是在金、元以后。“衚秱”乃“胡同”的异体字。女真人和蒙古人均属于蒙古语系，而蒙古语称城镇为“浩特”，称村落为“霍多”或“霍敦”，转音做“胡同”。女真人、蒙古人进入中原的城市后，按照自己的习惯，把中原城市的街巷也称做“胡同”。
也有人认为《马可·波罗行记》中有“浩特儿”一词，明朝光榜知《宛署杂记》里说，“元人呼街巷为胡同”，均可为佐证：早在元代即有“胡同”一词了。说“胡同”一词是元朝的词语，意思是胡人大同的意思。
胡同和井，在元大都时代都有了“市”的意思，沙络市也可以叫沙络胡同，是珊瑚市的意思。在古代汉语里本来就有“市井”一词，同在元大都时代，胡同和井也有了“大街”的意思，《析津志》钟楼：“楼有八隅四井之号，盖东西南北街道最为宽广”。“井”指的就是大街。旧北京的井窝子。在没有自来水的时代，北京居民的饮水主要靠井。一般居民没有私家专用水井的，就得到公用水井去汲水。图中的独轮车是专为人家送水的。