NotebookLMに確認テストの作問を手伝ってもらった話
はじめに
新人研修などの一部の案件では、終了後にテストを実施して受講者の理解度を確かめています。
この受講者へのフィードバックをより充実させるため、2026度より一部の研修でテストの問題数を約3倍に増量することが決まりました。
対象となるコースは全部で22コース。単純計算で600問以上を、約1ヶ月で用意しなければなりません。一問ずつ頭をひねって作っていたら間に合わないと判断し、初稿の作成でのみNotebookLMの助けを借りることにしました。
この記事では、実際にどのように活用したか、プロンプトの試行錯誤から品質管理の工程まで、お伝えできればと思います。
NotebookLMを選んだ理由
NotebookLMを選んだ理由はシンプルで、出題範囲を研修で利用したテキストのみに絞れるからです。
その点NotebookLMは、読み込んだソースの範囲内で動くため、「AIが勝手に話を広げる」リスクをある程度抑えられることが決め手でした。
プロンプト作成の試行錯誤
最初に作ったプロンプトでは、以下の内容を指定しました。
———————————
- 問題数
- 例：問題数は30問です
- 出題範囲
- 例：ソースに追加した【xxxx.pdf】というファイルから出題してください
- 想定する受験者
- 例：新入社員のエンジニア、IT企業の営業職
- 作問の基準
- 例：学習目標の達成度合いを測れる問題にしてください
- 出力フォーマット
- 例：以下のフォーマットを厳守してください ～後略～
———————————
このように情報を詰め込んだためか、初期段階から出題内容・大まかなフォーマットはある程度の品質を保っていました。テキスト範囲外の内容が大量に出力されたり、筋が通らない日本語が使われていることなどはありませんでした。
詳細は人間が見るとして、初稿としては十分なものを出せていた印象です。
出題内容の選定は概ね順調だった一方で、細かい出力フォーマットを整えるためのプロンプトは指示の通り方にブレがあり苦戦しました。
NotebookLMの出力はマークダウン形式になっているため、記号や空行がそのままテキストとして扱われず、意図した通りに表示されないケースが頻発したのです。
具体的には以下の2点で苦労しました。
① 連番にならない
テストでは、問題ごとに番号を振ります。
———————————
1. Aについて正しいものを1つ選びなさい。
———————————
しかし、NotebookLMはマークダウン形式で番号付き箇条書きを表すため、すべての問題が「1.」と表示されてしまいました。
———————————
———————————
② 選択肢が改行されない
各設問において、選択肢は一つずつ改行する必要がありました。
———————————
———————————
こちらは「空行を追加してください」と指示することで解決しました。マークダウンでは空行を挟まないと段落が分かれない仕様のため、「改行」ではなく「空行」という指示が有効だったものと思われます。
AIが作った問題への正直な感想
細かいフォーマットの指定では苦戦したものの、AIが生成した問題の品質は概ね良好でした。問題文はソースとして読み込んだテキストの内容に基づいて作られており、「教材と無関係な問題が大量に出てきた」という事態にはなりませんでした。
ただ、手直しは必須です。
まず気になったことは、選択肢や解説の表現です。問題文自体はテキストに沿っているのに、選択肢や解説の中にテキストの範囲外の用語が混入していることがありました。
また、問題ごとに難易度のばらつきも大きく、正解が一目でわかるような易しすぎる問題と、テキストの隅々まで暗記しなければ答えられないような高難度の問題が混在していたのです。
ゼロから問題を考える手間は大幅に省けましたが、出力した内容を確認・調整し、品質を担保する時間はしっかり確保しておく必要があります。
AIが担ったのはあくまで「たたき台を大量に用意すること」であり、品質に責任を持つのは最後まで人間でした。
実際にやってみてどうだったか
実際にやってみて、時間的なコスト削減の効果は想像以上でした。
作業の流れは以下の通りです。
- 初稿作成・セルフレビュー（約0.5〜1日）
- 講師レビュー（約2.5日）
- 指摘対応と修正（約0.5日）
上記のスケジュールで、完成までかかった時間は1コースあたり4日程度でした。
もし自力でゼロから数十問を作ろうとしたら、作問だけでも1週間はかかっていたと思います。さらに講師レビューと修正まで考えると、倍以上の時間が必要だったはずです。
初稿をAIに任せて、こちらは品質を上げることに集中できたことが今回の肝でした。皆さまの業務においても、「AIに任せられること」と「人間が責任を持つべきこと」を一度整理してみると、新しい活用方法が見えてくるかもしれません。
弊社では、AIツールの活用方法を体系的に学べるコース「AIと共に作るWebアプリケーション」を提供しています。プロンプトの構造化や、AIエージェントを前提とした開発効率化に興味のある方は、ぜひご覧ください。
