採用試験や昇進試験、社内テストを導入するうえで重要となるのは、「本当に測りたい能力や特性を正しく捉えているか」（妥当性）と、「同じ条件下で繰り返しても安定した結果を得られるか」（信頼性）の両方を押さえることです。ここでは、サミュエル・メシック（Samuel Messick）の論文（Messick, S. (1995). Validity of Psychological Assessment: Validation of Inferences from Persons’ Responses and Performancesas Scientific Inquiry into Score Meaning.）を参照しながら、テスト導入・運用で押さえるべきポイントと、信頼性を高める具体的な方法をまとめます。
目次
妥当性と信頼性がなぜ大切なのか
ビジネスシーンで採用試験や昇進試験を行う企業が増えていますが、テストが本当に測りたい指標とズレていたり（妥当性の低下）、実施するタイミングや会場が変わると点数が大きく変わる（信頼性の低下）ようでは、人材配置や評価を誤るリスクが高まります。そこで、Messickの妥当性の6つの側面を踏まえつつ、テスト結果が本当に役立つかを多角的に検証し、さらに信頼性を維持・向上させる工夫が重要になります。
Messickの枠組みが今も必要とされる理由
従来の妥当性概念は「内容妥当性」「基準関連妥当性」などの分類が中心でしたが、オンラインテストやAIスコアリングなど手法が多様化する中、テストの社会的・組織的な影響まで含めて包括的に評価する必要性が高まっています。Messickは、テストを6つの側面で整理しています。この包括的視点は、今なお各種テストの導入・見直しに有効です。
1. 内容的妥当性（Content Aspect）
テストが本当に測りたい範囲を十分にカバーしているかを確認する視点です。たとえば「営業力」を測るなら、商品知識だけでなく、顧客心理を読み解く力や適切なコミュニケーションを行う力などが必要になります。こうした要素を設問に盛り込むためには、熟練営業担当者へのヒアリングや実際の商談事例の洗い出しが有効です。ワークサンプル（実演課題）や面接を組み合わせれば、オンラインや紙のテストでは見えにくい面まで評価しやすくなります。
2. 実質的妥当性（Substantive Aspect）
受検者が問題を解くとき、想定されている思考プロセスや判断力をきちんと発揮できているかを見極める視点です。論理思考力を測りたいのに、単なるパターン暗記や定型的な当てはめで高得点が取れてしまうようでは、本当に測りたい力を捉えられません。実際にテスト実施後、受検者へのアンケートやインタビューを行い、「どんな手順で問題を解いたか」を調べる方法があります。そこでパターン学習だけで通用するケースが多いとわかったら、問題形式や出題の仕方を見直し、より高度な思考プロセスを求める構造に変更することが大事です。
3. 構造的妥当性（Structural Aspect）
テストの内部構造が、理論的に想定している能力要素と合っているかを確かめる視点です。たとえばコミュニケーション力を「説明力」「傾聴力」「対話展開力」という下位スキルに分解する場合、それぞれに対応する設問がきちんと機能しているかをデータから検証します。ここでは因子分析や項目応答理論（IRT）といった統計手法がよく用いられ、回答パターンが想定した下位要素に集約されているかを探ります。もし結果が理論と大きく食い違ったら、そもそも下位要素の定義を見直すか、設問の内容を修正することが必要になります。
因子分析
回答データから潜在的な因子（下位概念）がどのように構成されているかを明らかにする方法です。想定した構造と結果が大きく異なる場合は、設問内容の再検討が必要になります。
項目応答理論（IRT）
各設問の難易度や識別力を推定し、受検者の能力水準との関係をより精密に測定する手法です。複数フォーム間での難易度調整にも活用されることがあります。
4. 一般化可能性（Generalizability Aspect）
テストの結果が受検者の属性や受験環境によって大きく左右されず、同じ能力を安定して測定できるかを評価する視点です。たとえばオンラインと会場受検で難易度や点数が大きく変わるなら、どちらかの形式に偏った設計になっている恐れがあります。試験官ごとの点数のブレが大きい場合も、評価基準や研修方法に問題があるかもしれません。実務では複数の受検方法を試したり、監督者同士で採点をすり合わせたりして、ばらつきを減らしていく工夫が必要です。
5. 外的妥当性（External Aspect）
テストスコアが実際の業務パフォーマンスや他の指標とどれくらい関連しているかを確かめる視点です。平たく言えば「高得点の人が仕事でも成果を出しているか」を後追いで検証します。人事の現場では、テストを導入して半年後や一年後に、売上や顧客満足度、離職率などの組織データとテスト得点を比較する方法がよく使われます。たとえば「テスト得点と売上には0.6程度の相関があったが、顧客満足度とは0.2程度しかなかった」といった数字が出てくれば、どの部分が測れていて、どの部分が弱いかをより明確に議論できます。
6. 結果的妥当性（Consequential Aspect）
テストの導入や運用が、組織や社会にどんな影響を与えているかを総合的に捉える視点です。たとえば高得点者が特定の性別や学歴に偏っていないか、応募者や受検者のモチベーションを下げていないか、多様性を損なっていないかといった点を継続的にチェックします。ポジティブな側面としては「優秀な人材を確保しやすくなった」「配属ミスマッチが減った」などが挙がりやすい一方、ネガティブな兆候としては離職率の増加や採用ブランドの低下につながる可能性もあります。こうしたリスクを把握するために、定期的にアンケートやヒアリングを実施し、必要に応じて問題点を洗い出すことが欠かせません。
テストの信頼性とは何か
妥当性が「何を測っているかの正しさ」を示すのに対し、信頼性は「結果がどれだけ安定して得られるか」を示す指標です。もし同じ能力を持つ人が1週間後に同じテストを受けたときに大きく点数が変わるようでは、信頼性が低いと言わざるを得ません。こうしたブレの大きいテストに人事評価を委ねると、配置や昇進の判断が曖昧になり、組織全体の納得感を損なうリスクが高まります。
信頼性を検証・向上させる代表的な方法
再テスト法
一定期間を空けて同じテストを同じ受検者に再度受けてもらい、結果の相関を確認します。短期間で受検するにもかかわらず点数が著しく変わってしまう場合は、テストそのものや受検環境に問題があるかもしれません。
代替テスト法（平行テスト法）
同じ能力や領域を測る、ほぼ同等の難易度のテストを複数用意し、結果がどの程度一致するかを検証します。オンライン版と紙版、別バージョンの問題などで得点に大きな差が生じるようなら、難易度調整や問題の修正を検討する必要があります。
内的一貫性法
クロンバックのα係数などを使い、テストの中の各設問が同じ概念を一貫して測っているかを確認する方法です。「同じ能力」を問うはずの項目群が、実はまったく別のスキルを測っていた場合には、一貫性が低くなりやすい傾向があります。
テスト環境の標準化と等化（equating）
試験官や会場、オンライン・紙媒体などの違いで受検者の負担や問題形式が変わらないようにルールを整備します。異なるテストフォーム間の難易度を統計的に調整することで、どのフォームを受検してもほぼ同等のスコア分布になるようにすることも大切です。
まとめと今後の展望
Messickの6つの妥当性と、テストの信頼性をあわせて検証し続けることで、組織の評価精度を高め、採用・昇進・配置の決定がより納得しやすいものになります。特にオンラインテストやAIを活用したスコアリングが普及する今こそ、何を測っているのか・どの程度安定して測れるのか・導入後にどんな影響があるかを慎重に見極める必要があります。
テストを一度導入して終わりではなく、データを継続的に収集し、妥当性と信頼性を改善し続ける姿勢こそが、最終的にテストの効果を最大化し、組織力を高める鍵になるでしょう。
テストの作成を代行するサービスを提供しております。詳しくは以下よりお問い合わせください。
テスト問題の作成代行に関するお問い合わせ