Căn cứ vào bản thần tích và sắc phong đình làng Bảo Yên, sao từ Viện Hán Nôm, số kí hiệu TT-TS/FQ 4°18/XVI,3, gồm thần tích có niên đại năm Hồng Phúc thứ 3 (1574), do Đông các Đại học sĩ Nguyễn Bính phụng soạn, được sao lại vào năm Cảnh Hưng thứ 4 (1743) và thần sắc có niên đại lần lượt là Tự Đức 6 (1852), Tự Đức 10 (1856), Tự Đức 33 (1879), Đồng Khánh 2 (1886), Duy Tân 3 (1909), có thể khẳng định được niên đại tương đối xây dựng đình Long Phụng là vào thời Hậu Lê - thế kỷ XVIII.
Thời kỳ chiến tranh chống giặc Pháp, đình Long Phụng là nơi họp quân và tổ chức mít tinh của Mặt trận Việt Minh huyện Thanh Thủy, cũng là nơi phổ biến các chủ trương, đường lối và kêu gọi nhân dân theo cách mạng giải phóng dân tộc. Khi thành lập chính quyền cách mạng lâm thời của xã Phú Cường (xã Bảo Yên ngày nay), đình trở thành nơi làm việc của các cơ quan, đoàn thể trong xã, nơi tổ chức bầu cử Quốc hội đầu tiên năm 1946 của xã. Năm 1957, đình là nơi Trung đoàn 48 đã chọn đóng quân để huấn luyện quân sự. Đồng thời trong suốt quá trình, đình là nơi hội họp thường xuyên của các đoàn thể, nơi tổ chức các lớp bình dân học vụ và là nơi huyện Thanh Thủy tổ chức mít tinh toàn huyện tổng kết thanh toán nạn mù chữ theo độ tuổi từ 40 tuổi trở xuống vào năm 1959. Sân đình cũng là nơi tổ chức chiếu phim phục vụ nhân dân.
Cuối năm 1959, xã xây dựng cơ sở hạ tầng, nhà tả - hữu mạc của đình bị dỡ để lấy vật liệu xây trường tiểu học và trạm xá. Hậu cung và tường bao dỡ lấy gạch xây UBND xã và nghĩa trang liệt sĩ. Trên nền đại bái, dựng lại 5 gian nhỏ lợp ngói, ngăn đôi làm trụ sở và kho của Hợp tác xã nông nghiệp. Sau hòa bình lập lại, nhân dân cùng góp công góp của xây dựng lại đình. Đình được phục hồi vào năm 1999.