Podatek od sprzedazy mieszkania

Na przełomie 2001/2002 roku rozpocząłem budowę domu. Została ona formalnie zakończona 05.2003. Mieszkanie sprzedałem w trakcie jej trwania 11.2002. Oczywiście dostarczyłem do US deklarację o przeznaczeniu całości środków na budowę. Niestety większość inwestycji została zrealizowana przed tą datą. Stąd rachunki z budowy po tej dacie nie pokrywają całości wartości mieszkania.
Z tego powodu Urząd Skarbowy chce naliczyć zwrot niezapłaconego podatku (10%) plus odsetki za zwłokę.
Proste pytanie. Czy rzeczywiście koszty budowy poniesione przed sprzedażą mieszkania nie mogą zostać uwzględnione ? A jeśli mogą to czy jest jakiś przepis lub decyzja na którą mógłbym sie powołać ?
Z góry dziękuję za pomoc.