Forsvarsbygg sa ja, Kommunal- og distriktsdepartementet sa nei