論文の概要: Overwhelmed by Choice: Studying LLM Decision Making at Scale

• arxiv url: http://arxiv.org/abs/2609.32809v1
• Date: Sat, 26 Sep 2026 17:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:02:30.442523
• Title: Overwhelmed by Choice: Studying LLM Decision Making at Scale
• Title（参考訳）: 選択に圧倒される - LLM意思決定を大規模に研究する
• Abstract要約: 候補数の増加に伴い,複数選択および候補選択の評価を体系的に評価した。 タスク間での相当な精度劣化、戦略の推進、モデルスケールが見られます。 階層分割と置換に基づく推論は、HotpotQAとMIMICで約20パーセントの精度をN=160$で向上する。
• 参考スコア（独自算出の注目度）: 70.45144023754595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple-choice and candidate-selection evaluations are widely used to assess LLM reasoning and decision-making, yet most benchmarks contain relatively small candidate sets. It remains unclear whether conclusions drawn from these settings remain valid as the candidate space scales. We systematically evaluate LLMs as the number of competing candidates increases and find substantial accuracy degradation across tasks, prompting strategies, and model scales. Controlled analyses show that standard long-context retrieval explanations cannot fully account for this degradation. Instead, we identify two systematic failure patterns. First, gold-margin collapse: the score gap between the correct answer and the strongest distractor progressively shrinks, driven primarily by weakening confidence in the correct answer. Second, earlier candidate preferences become increasingly difficult to overturn, with later candidates exerting progressively weaker influence on the final prediction. Motivated by these findings, we evaluate hierarchical partitioning and permutation-based inference, which improve accuracy by roughly 20 percentage points at $N=160$ on both HotpotQA and MIMIC. Overall, our results identify candidate-set scale as an important evaluation-protocol variable and show that strong small-option performance does not necessarily imply robust large-scale candidate comparison.
• Abstract（参考訳）: 多重選択と候補選択の評価はLLM推論と意思決定に広く用いられているが、ほとんどのベンチマークは比較的小さな候補集合を含んでいる。 これらの設定から引き出された結論が、候補空間スケールとして有効かどうかは不明である。 競合する候補の数が増加するにつれて LLM を体系的に評価し,タスク間での精度の低下,戦略の促進,モデルスケールの縮小を図った。 制御された分析により、標準的な長文検索説明は、この劣化を完全には説明できないことが示された。 代わりに、2つのシステマティックな障害パターンを特定します。 第一に、ゴールドマージンの崩壊: 正解と最強のイントラクタの間のスコアギャップは徐々に縮小し、主に正解の信頼性の低下によって引き起こされる。 第二に、初期の候補者の選好は次第に覆すのが難しくなり、後の候補者は最終的な予測に徐々に弱い影響を与えるようになった。 これらの結果から,HotpotQAとMIMICのいずれにおいても,約20ポイントの精度をN=160$で向上させる階層的分割と置換に基づく推論を評価した。 以上の結果から,提案手法は提案手法の重要な評価指標である候補セット尺度を同定し,必ずしも大規模候補比較が頑健でないことを示す。

関連論文リスト

• On the Stability of Prompt Ranking in Large Language Model Evaluation [9.718200364661675]
  本稿では,ランダムシードや限定評価サブセットなど,変数の共通源下でのランク付け安定性について系統的に検討する。 全体的なランク相関は、しばしば適度に高いが、トップパフォーマンスのアイデンティティは頻繁に変化し、信頼性の低い選択決定につながる。 本稿では,性能と分散性の両方を考慮し,信頼度を低くした簡易な安定性を考慮した選択戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-23T10:13:47Z)
• VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection [6.090625902337103]
  VecCISCは軽量で適応的なフレームワークで、意味的類似性の尺度を使って推論トレースをフィルタする。 VecCISCはトークンの総使用量を47%削減し、CISCの精度を維持したり超えたりしている。
  論文  参考訳（メタデータ） (2026-05-08T17:54:38Z)
• Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options [4.902225285395898]
  本稿では,候補セットを100まで拡張する大規模オプション評価プロトコルを提案する。 この枠組みを韓国の正書法誤り検出タスクに適用する。 その結果、低いオプション設定での強いパフォーマンスは、モデルの能力を誇張できることが示された。
  論文  参考訳（メタデータ） (2026-04-16T05:22:12Z)
• A Single Revision Step Improves Token-Efficient LLM Reasoning [3.344806691289323]
  大規模言語モデルのためのトレーニングフリーで推論のみのフレームワークであるPacket-Conditioned Revision (PACER)を紹介した。 PACERは、推論トレースを使用して、構造化された調整ステップを通じて結論を修正できる。 競争力のある数学のベンチマークでは、PACERは256サンプルの多数決の正確さと一致または超える。
  論文  参考訳（メタデータ） (2026-02-02T21:28:42Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information [57.397381631496906]
  最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
  論文  参考訳（メタデータ） (2025-10-01T22:21:50Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Ethical AI on the Waitlist: Group Fairness Evaluation of LLM-Aided Organ Allocation [19.66750942418172]
  オルガンアロケーションをケーススタディとして,(1)選択1と(2)ランクオールの2つのタスクを紹介した。 ランクオールでは、LLMは腎臓の全ての候補をランク付けし、実際の割り当てプロセスを反映している。 従来の公正度指標はランク付けを考慮しないため、バイアスを捉えるためにボルダスコアの新たな応用を提案する。
  論文  参考訳（メタデータ） (2025-03-29T04:36:25Z)
• Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis [120.9545643534454]
  パイプラインは校正誤差を最小限に抑えることが重要であり、特に安全クリティカルな応用において重要である。 パイプラインの背景には,(1)PLMの選択と(2)サイズ,(3)不確実性定量化器の選択,(4)微調整損失の選択など,さまざまな考察がある。 1) PLM符号化にELECTRAを使用し、(2) 可能であればより大きなPLMを使用し、(3) 不確実性定量化にTemp Scalingを使用し、(4) 微調整にFocal Lossを使用する。
  論文  参考訳（メタデータ） (2022-10-10T14:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。