論文の概要: The Role of the Availability Heuristic in Multiple-Choice Answering Behaviour

• arxiv url: http://arxiv.org/abs/2602.17377v1
• Date: Thu, 19 Feb 2026 13:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.052321
• Title: The Role of the Availability Heuristic in Multiple-Choice Answering Behaviour
• Title（参考訳）: 複数回答行動におけるアベイラビリティ・ヒューリスティックの役割
• Authors: Leonidas Zotos, Hedderik van Rijn, Malvina Nissim,
• Abstract要約: ウィキペディアを検索コーパスとして使うと、常に最も利用可能な選択肢を選択すると、ランダムゲスベースラインの13.5%から32.9%のスコアが得られる。 本研究は,学生行動のモデル化において,現在および将来の作業において,可用性を考慮すべきであることを示唆している。
• 参考スコア（独自算出の注目度）: 13.619432837325471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When students are unsure of the correct answer to a multiple-choice question (MCQ), guessing is common practice. The availability heuristic, proposed by A. Tversky and D. Kahneman in 1973, suggests that the ease with which relevant instances come to mind, typically operationalised by the mere frequency of exposure, can offer a mental shortcut for problems in which the test-taker does not know the exact answer. Is simply choosing the option that comes most readily to mind a good strategy for answering MCQs? We propose a computational method of assessing the cognitive availability of MCQ options operationalised by concepts' prevalence in large corpora. The key finding, across three large question sets, is that correct answers, independently of the question stem, are significantly more available than incorrect MCQ options. Specifically, using Wikipedia as the retrieval corpus, we find that always selecting the most available option leads to scores 13.5% to 32.9% above the random-guess baseline. We further find that LLM-generated MCQ options show similar patterns of availability compared to expert-created options, despite the LLMs' frequentist nature and their training on large collections of textual data. Our findings suggest that availability should be considered in current and future work when computationally modelling student behaviour.
• Abstract（参考訳）: 学生がマルチチョイス質問(MCQ)に対する正しい回答を確信していない場合、推測が一般的である。 1973年に A. Tversky と D. Kahneman が提唱したアベイラビリティ・ヒューリスティック(英語版)は、関連する事例が念頭に置かれることの容易さ(典型的には露光の周波数によって行われる)は、テストタッカーが正確な答えを知らない問題に対する精神的なショートカットを与える可能性があることを示唆している。 MCQに答えるための良い戦略として、最も簡単に思い浮かぶ選択肢を単に選択するのでしょうか? 大規模コーパスにおける概念の有病率によって運用されるMCQオプションの認知能力を評価するための計算手法を提案する。 3つの大きな質問セットにまたがる重要な発見は、質問ステムとは独立に正しい答えは、誤ったMCQオプションよりもはるかに多く利用できることである。 具体的には、ウィキペディアを検索コーパスとして使用することにより、常に最も利用可能な選択肢を選択すると、ランダムゲスベースラインの13.5%から32.9%のスコアが得られる。 さらに, LLMが生成するMCQオプションは, LLMの頻繁な性質と大量のテキストデータに対するトレーニングにもかかわらず, 専門家が作成したオプションと類似した可用性のパターンを示す。 本研究は,学生の行動の計算モデリングにおいて,現在および将来的な作業において,可用性を考慮すべきであることを示す。

関連論文リスト

• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
  複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。 既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。 本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-21T12:05:21Z)
• Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? [15.308093827770474]
  大規模言語モデル(LLM)が選択のみのプロンプトで複数選択質問応答(MCQA)を実行できるかどうかを探索する。 このプロンプトは11/12ケースで過半数のベースラインを上回り、精度は0.33まで向上する。 我々は、暗記、選択力学、質問推論について、深いブラックボックス分析を行う。
  論文  参考訳（メタデータ） (2024-02-19T19:38:58Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Leveraging Large Language Models for Multiple Choice Question Answering [6.198523595657983]
  MCSB能力が高いモデルは、従来のアプローチよりも自然なアプローチの方がはるかに優れていることを示す。 MCSB能力が高いモデルは、従来のアプローチよりも自然なアプローチの方がはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-22T05:04:54Z)
• MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection [59.95429407899612]
  そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。 我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。 我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-10T10:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。