灰山港镇因镇政府驻地位于志溪河入资江的港湾处，且港岸石头呈灰色，故名“灰山港”。

灰山港镇，隶属于湖南省益阳市桃江县，地处桃江县东南端，东与赫山区泥江口镇接壤，南与宁乡市煤炭坝镇、菁华铺镇交界，西与牛田镇、松木塘镇相邻，北与石牛江镇毗连。区域面积 229.7 平方千米，截至 2019 年末，户籍人口 121281 人。