◆任意といえども強制です
  税務調査は任意調査といえども法律に基づいて、強制的になされます。
  税務署には「質問検査権」と言うのがあります。それは各税法に「必要があるときは・・・質問し・・・検査することができる」と明記されているからです。
  しかも納税者が、税務署員の質問に対して答弁しなかったり、税務署員の帳簿検査について帳簿を見せない等の拒否や妨害をした時は、「1年以下の懲役又は20万円以下の罰金に処する。」と言う罰則が規定されています。これを納税者の受忍義務といいます。受忍義務とは、文字通り受けて耐え忍ぶ義務です。

◆受忍義務はどこまで
  「ではどこまで、受けて耐え忍べば良いのでしょうか?」と言う質問に対する明確な回答はありません。税務調査の方法については国税通則法等にも明文化されていません。現場の調査担当者や責任者の判断に委ねられております。
  受忍義務はありますがあくまで任意調査ですから、調査の日時や時間は、最大限納税者の便宜を図るよう要求できます。しかし土・日・祝日は調査を行いません。

◆サラリーマンはどうするの
  サラリーマンでも相続税や不動産所得や土地の売却等の所得があった場合は往々にして調査があります。
  税務署は、土日祝日は調査を行いませんので、平日にお願いしてきます。しかしサラリーマンは平日は仕事です。もし調査に応ずるなら有給を取るしかありません。
  しかし税務署もそこまでの受忍義務の強要はしておりません。しかし多くの場合は税務署にお願いされると、有給を取って調査を受けているのが現状です。

◆ではどうするのか
  平日に資料を用意して代理人(税理士や配偶者等)を立てて調査を行ってもらい、本人でないとわからないことは、昼休み等に電話でやり取りすると言った方法も可能です。