podatek od budynków gospodarczych

Mam pytanie : posiadam budynek gospodarczy usytuowany na działce budowlanej. W tej samej gminie w 2005 roku nabyłem w drodze spadku grunty rolne w ilości 3 ha i w/g prawa stałem sie rolnikiem. Po nabyciu tych gruntów w dalszym ciągu płaciłem podatek dla gminy od budynku gospodarczego. W roku 2009 dowiedziałem się, że rolnicy zwolnieni sa z podatku od budynków gospodarczych jeżeli takie wykorzystywane sa do celów związanych z produkcja rolna - tak tez wykorzystywany był mój budynek gospodarczy. Jednakże ja nie składałem korekty zeznania podatkowego do Urzędu Gminy. W roku 20099 gdy dowiedziałem się , że nie powinien być mi naliczany podatek od tego budynku złożyłem korektę w UG i podanie o zwrot nienaleznie naliczonego mi podatku. Otrzymałem odpowiedź od pracownika Urzędu Gminy, że nie moga zwrócić mi podatku z lat ubiegłych tj. ,od 2004 roku gdyż otrzymywałem decyzje Wójta Gminy dot. naliczonego mi podatku i jej kwestionowałem tzn. że zgadzałem się z nią. Ale ja nie znalem prawa, że rolnicy nie muszą płacić za takie budynki.
Czy w związku z tym mam jakieś szanse na zwrot naliczonego mi w uprzednich latach podatku od budynku gospodarczego ?
Dziekuje za porady. Pozdrawiam.