スタッフブログ
超実務的な修了考査の問題を思いつきました「AIハルシネーション訂正問題」
はじめに:実務家になった途端、基準集を取り上げられる謎
こんにちは。公認会計士・税理士の富村亮超です。
今回は、修了考査に面白いアイデアが浮かんだので、いつか試験委員の人に届いてほしいと思ってネットの海に放流することにしました。
公認会計士試験の論文式試験では、法令基準集が配布されます。「道具は渡すから、それを使って戦え」というスタンスです。
しかし、いざ実務経験を積み、プロフェッショナルとしての最終関門である「修了考査」になると、なぜか法令基準集の持ち込みが不可になります。
また、税理士試験においても、一切の持ち込みなしで条文を一言一句暗記してベタ書きすることが求められます。(税理士試験は受けていないので、今回はあまり言及しませんが)
実務の現場を見てください。
監査基準を参照せずに回答する会計士はいません。
1年目のスタッフが上司に言われるフィードバックあるある第2位は「それ、基準のどこに書いてますか?」です。(参考までに、1位は「ファクトと解釈を分けてください」)
それどころか、今やAIに下書きを作らせる時代です。
「実務家になったのだから、何も見ずに即答できろ」というメッセージなのかもしれませんが、AI時代においてそのスキルセットは本当に「最重要」なのでしょうか?
今回は、現役の会計士・税理士として、これからの試験制度(特に修了考査)のあるべき姿について提言します。
「暗記」の価値は暴落していないが、実務家のプロとしての「修了考査」で測るべきではない
誤解のないように言えば、私は「暗記」を否定しているわけではありません。 実務において「基準を丸暗記している税理士・会計士」は依然として強いです。当たり前のことですが理由は2つ。
-
反応速度: 何も見ずに即答できることは信頼に繋がります。(実際には間違いがあると困るので大体一回持ち帰りますが、「確かそうだったはず」と言える範囲の広さは重要です)
-
違和感の検知: 知識が頭に入っているからこそ、AIや他人の回答の「おかしな点」に直感的に気づけます。
しかし、「基礎知識がないと応用が効かない(だから短答式は暗記でいい)」としても、実務家の登用試験である修了考査でまで暗記を強いるのは、現代においてはナンセンスと言わざるをえません。
なぜなら、我々が実務で直面するのは「条文にどう書いてあるか」ではなく、「条文を前提として、目の前の複雑な事象をどう捌くか」だからです。
提言:修了考査に「AIハルシネーション修正問題」を導入せよ
では、何が出題されるべきか。 私は「法令基準集持ち込み可」にした上で、以下のような問題を出すべきだと考えます。
【出題イメージ】 ①以下は、ある論点について生成AI(あるいは新人スタッフ)が作成した監査メモである。 この文章は非常に論理的に見えるが、適用すべき基準の解釈において致命的な誤りが2箇所以上含まれている。 配布された基準集を参照し、誤りを具体的に指摘した上で、あるべき結論を記述せよ。
②以下は、この回答が生成されるに至ったプロンプトである。このようなハルシネーションが至った理由を推察し、より適切と考えられるプロンプトを記述せよ。
これこそが、AI時代の実務能力を測るのに最適な形式ではないでしょうか。
なぜ「修正問題」なのか?
修了考査を突破しようとするJ3(実務補習所3年目)の層に求められているのは、もはや「自分でゼロから作文する能力(スタッフレベル)」ではありません。 求められているのは、シニアからマネージャーへの脱皮です。スタッフレベルの能力が身についているのは「当たり前」という領域であり、また、スタッフレベルであれば結構AIで事足りますので、実務においてそこで差はあまりつきません。
マネージャーの仕事とは何か。 それは、スタッフやAIが上げてきた成果物をレビューし、クライアントとの解釈の相違を調整することです。
「AIはこう言っていますが、原文の監査基準委員会報告書〇〇号の趣旨に照らすと、この例外規定は適用できません」 こうやって、ソースに立ち返ってロジックの嘘を見抜く「裏取り力」こそが、これからの会計士のコアコンピタンスになります。
仮に基準集を配布したとしても、実務経験に基づいた「体重の乗った回答」は、一朝一夕では書けません。 「どこに何が書いてあるか」を知り、それを武器に論陣を張れるか。
論文式試験と修了考査の間での成長を見るなら、そういった実務能力を試すべきです。
倫理規則の「穴埋め」は即刻廃止すべき
ついでに言わせてください。職業倫理の試験における「語句の穴埋め問題」。あれは即刻廃止すべきです。 単語を正しい空欄に埋められたからといって、その人の倫理観が証明されるわけではありません。
ちなみに私はこの丸暗記が出来なくて、倫理で足切りになりかけました。完全に私怨です。
おわりに
今の試験制度は、ある意味で「AIに最も代替されやすい能力(暗記・計算)」を必死に競わせていませんでしょうか。
会計学、監査論、租税法の3科目においては「基準集配布のレビュー試験」へ。
修了考査が単なる「受験生時代の延長戦」ではなく、真のプロフェッショナルへの「通過儀礼」として機能するよう、制度設計の見直しが必要ではないでしょうか。
