古时候有一对夫妻，丈夫是个生意人，妻子因丈夫经常外出不在家，于是和卖布的好上了。一次，那卖布的正和妻子幽会，被丈夫发现了。之后妻子用绿色的布料做了一顶帽子给丈夫，和卖布的约定，看见丈夫戴上绿帽子外出就可以来了。此后丈夫戴上那顶绿帽子外出，他妻子就和卖布的私会，于是，绿帽子说法就传下来了。
绿头巾、绿帽子、戴绿帽，自明清以来，都用以指那个妻子出轨的丈夫。这种称呼不仅散见于小说里，更是庶民用语之一。除此之外，有关“戴绿帽子”的笑话也颇不少。绿头巾的称呼应起于明代，明代的乐户乃是一种半妓半伶的低贱职业，规定她们只能穿戴绿色的头巾，因而绿头巾遂成了低贱的记号。出轨，当然也就相当于这种戴了绿头巾的行业。
若对中国古代的服装、颜色，以及身分阶级的区隔稍加研究，在更早的时代，巾和绿就一直是低贱者的专利。
以巾而论，虽起源甚早，但直到东汉都是平民或贱民们的专属冠饰，由巾并发展出类似的冠饰，如汉代的帻、唐代的头等。清代翟灏在《通俗编》卷十二里指出，远在春秋时代，有货妻女求食者，绿巾裹头，以别贵贱。足见绿头巾之早。汉代有了由巾变过来的帻。唐代颜师古在注解《汉书·东方朔传》里所提到的绿帻。
因此，绿在中国古代的颜色评等上，乃是最低级的颜色。在唐代，官吏有袍，品级最低者也是绿色。唐代白居易的《怀微之》有诗句曰：分手各抛沧海畔，折腰俱老绿衫中。可以为证。
由此可见，绿头巾长期以来，即一直是贱民隶卒或仆庶者流所使用的装束。正因如此，它到了元明开始，遂日益成为娼妓之家男子们之装束。绿头巾和绿帽子，也因此而从一种服装旳记号语言，升格成日常用语。
