Die Graue Burg, wahrscheinlich von den Grafen von Saffenburg erbaut war im Gegensatz zu den vielen Rittersitzen eine Grafenburg, deren Namen sich über Grawe- und Graveburg in Graue Burg gewandelt hat.
Nach häufigem Besitzerwechsel erwarb die Gemeinde Sechtem die Burg 1961 und verkaufte sie im Jahre 1969 an eine langjährige Mieterin, die in der Burg eine Privatschule unterhielt.
Die Graue Burg befindet sich heute in Privatbesitz.