영월엄씨는 호부원외랑으로 고려조에서 내성군에 봉해지면서 영월을 식읍으로 받아 그 땅 행정에 정착한 임의를 시조로 모심으로써 엄문의 본관이 되었다. 당시 임의공께서 심었다고 전해지는 은행나무는 이후 천년의 세월을 간직한 채 지금도 의연히 서 있다.
임의는 세 아들을 두었는데 첫째 태인은 검교군기감윤 벼슬로 군기공파 아래로 13공계, 둘째 덕인은 복야벼슬로 복야공파아래로 28공계, 셋째 처인은 문과 벼슬로 문과공파 아래에 단일공계로 3공파 42공계의 자손들로 형성되어 있다.
고려조의 수안공 태사공등 많은 현조에 이어 11세손인 유온은 조선조의 개국공신이고 시조로부터 12세손인 충신 흥도는 영월 동강에 버려져 있는 단종의 시신을 수습하여 삼족형의 위험을 무릅쓰고 僞善被禍 吾所甘心(좋은 일을 하다가 화를 당한다 해도 달게 받겠노라)하면서 단종의 옥체를 염장하여 엄문의 선산인 동을지에 암장한 만고의 충신으로 공조판서로 추증되고 충의라는 시호를 받았다.
근대의 인물로는 26세손으로 고종의 순헌엄황귀비로 숙명여자대학교·숙명여자고등학교, 진명여자중학교·진명여자고등학교, 양정고등학교 등의 교육기관을 세워 많은 인재를 배출한 엄황귀비와, 26세손인 세영은 대사헌, 농상공대신을 지냈고, 28세손 항섭은 백범선생을 보좌하며 대한임시정부선전부장으로 항일운동에 앞장선 애국열사로 널리 알려져 있다.
대종회에서는 충·효·의·열을 바탕으로 많은 문· 무관을 배출한 밝고 맑게 살아온 명족임을 기리기 위해, 매년 양력 10월 3일에 영월 시조공 묘소에서 시향대제를 봉행아여 왔으나, 이번에 다시 그 숭고한 정신을 오래도록 계승하고 실천하기 위하여, 이곳에 우리 엄문을 상징하는 무궁의 뜻이 담긴 이 조형물을 세운다.
