Le Manoir épiscopal ou château de St Malo de Beignon, construit au XIe siècle, servit aux évêques de manoir de plaisance où ils résidèrent souvent. Il fut rebâti vers 1686 par Mgr Sébastien du Guémadeuc et se composait de deux grands corps de logis réunis par un bâtiment rectangulaire. Dans le parc, entouré de murs, étaient des jardins, des bois, un étang, des garennes, la chapelle, l’auditoire et la prison. En 1743 Mgr de la Bastie fit raser une partie des anciens édifices et acheva l’édification du bâtiment. Le château est vendu sous la révolution comme bien national ; il devient alors successivement la propriété de plusieurs familles.
Au XXe siècle, le château sera dévasté par 2 incendies (en 1939 et en 1958). Tombé en ruine, il sera rasé dans les années 1970. Il se dressait à l’emplacement de l’actuel terrain de pétanque derrière l’église.