이 곳에는 본래 충정공(忠正公) 박팽년(朴彭年)의 위패를 봉안한 하빈사(河濱祠)가 있어 후손들이 향사를 지내왔다. 그런데 어느 해인가 공의 현손(玄孫)인 박계창(朴繼昌)이 사육신 여섯 분이 함게 사당 밖에서 서성거리는 꿈을 꾼 후 깨달은 바가 있어 다섯 분의 신위를 더 설치해 함께 제향하게 되었다. 1691년(숙종 17)에는 사당에서 멀지 않은 곳에 별묘(別廟)와 강당(講堂)을 건립하여 낙빈서원을 창건하였는데, 3년 후인 1694년(숙종 20)에 유생들의 소청으로 사액을 받았다. 이후 1866년(고종 3)에는 흥선대원군의 철폐령으로 서원이 훼철되었으나, 1924년 문중에서 원래 터보다 위쪽인 현 위치에 강당 건물만 중건하였는데, 그 후로도 사당을 세우지 못해 서원이라기보다는 문중의 재사(齋舍)와 유사한 모습이 되었다. 1974년에는 `충효위인유적정화사업`의 일환으로 묘골의 구 종가(宗家)터 뒷산에 육신사(六臣祠)가 건립되면서 그곳으로 사육신의 위패를 옮겨 봉안하고 매년 춘추절에 향사를 지내게 되었다. 현재의 서원 건물은 정면 4칸, 측면 1칸의 팔작지붕 토기와집으로 1982년에 복원한 것이다.