W czasie II wojny światowej Niemcy przetrzymywali tutaj jeńców rosyjskich, a później angielskich, którzy byli zmuszani do pracy w majątku. Za pomoc więźniom, próbę podania im chleba groziło aresztowanie, a nawet zesłanie do obozu. Po wojnie w tym budynku mieszkańcom Iłowa wydawano mleko.
