論文の概要: Does Reasoning Make Language Models Agree?
- arxiv url: http://arxiv.org/abs/2610.41691v1
- Date: Fri, 30 Oct 2026 12:57:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.712219
- Title: Does Reasoning Make Language Models Agree?
- Title(参考訳): 推論は言語モデルを凝集させるか?
- Abstract要約: 言語モデルは2つの対立する関心事に直面している: モノカルチャー、モデルが相関的な方法で進化する、多重性、等しく正確なモデルが矛盾する決定をする。
推論モデルの台頭は、この議論を複雑にしている: 一方、推論は、モデルが同じ健全な特徴に固定されている場合や、同様の推論に従う場合、合意を増大させる可能性がある。
本研究は, モデル精度から期待される合意に対して, 比較検討を行い, 比較検討を行い, 比較検討を行った。
- 参考スコア(独自算出の注目度): 30.711773754965986
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Language models face two opposing concerns: monoculture, in which models err in correlated ways, and multiplicity, in which equally accurate models make conflicting decisions. The rise of reasoning models has complicated this debate: On the one hand, reasoning may increase model agreement if models anchor on the same salient features or follow similar reasoning paths. On the other hand, stochastic reasoning traces may introduce additional branch points leading to more diverse predictions. We resolve this tension by distinguishing reasoning as an intervention from reasoning as an observed behavior. We compare agreement under controlled changes in reasoning effort with agreement across observed reasoning lengths, measuring both against the agreement expected from model accuracy. Across nine models from two developers and three classification tasks, enabling reasoning increases agreement between models evaluated on the same individuals. Yet the individuals who elicit longer reasoning traces receive less consistent predictions across models. Both patterns persist after accounting for differences in accuracy. Asking models to reason more thus promotes agreement, while observing them reason longer signals disagreement.
- Abstract(参考訳): 言語モデルは2つの対立する懸念に直面している: モノカルチャー、モデルが相互に相関する方法で進化する、多重性、等しく正確なモデルが矛盾する決定を下す、である。
推論モデルの台頭は、この議論を複雑にしている: 一方、推論は、モデルが同じ健全な特徴に固定されている場合や、同様の推論パスに従う場合、モデル合意を増加させる可能性がある。
一方、確率的推論トレースはさらなる分岐点を導入し、より多様な予測をもたらす可能性がある。
我々は、この緊張を、観察行動としての推論と、観察行動としての推論とを区別することで解決する。
本研究は, モデル精度から期待される合意に対して, 比較検討を行い, 比較検討を行い, 比較検討を行った。
2人の開発者からの9つのモデルと3つの分類タスクにより、推論が可能となり、同一個人で評価されたモデル間の合意が増加する。
しかし、長い推論トレースを引き出す個人は、モデル全体での一貫性の低い予測を受け取っています。
どちらのパターンも精度の違いを考慮して継続する。
モデルにさらなる推論を求めることで合意が促進される一方で、それらを監視することでより長い信号の不一致が生じる。
関連論文リスト
- Are Large Reasoning Models Good Everyday Reasoners? A Comparison with Non-Reasoning Models on Logical Reasoning Tasks [5.120890045747202]
我々は,言語的・実践的な推論現象に基づくベンチマークを導入することにより,推論モデルと日常の推論パターンの整合性を評価する。
多くの場合、そのような推論が形式的な論理規則から逸脱した場合、推論モデルは日常的な推論において劣化した性能を示す。
これらの結果から,現在の推論モデルでは,日常的推論を確実に捉えたり,学習後の制約を指摘したり,学習目標の改善や多種多様な推論による評価を動機付けたりするものではないことが示唆された。
論文 参考訳(メタデータ) (2026-10-15T18:37:22Z) - Can Reasoning Models Detect Changes to their Chains of Thought? [2.5010430975839797]
我々は,近年の推論モデルが,様々な条件下で思考の連鎖にそのような介入を検出できるかどうかを考察した。
i)モデルが検出精度が非常に低いこと,(ii)モデルが修正したCoTの特定に苦慮していること,(iii)モデルが他のモデルと同等にCoTの変更を検出するのに優れていること,などが分かる。
論文 参考訳(メタデータ) (2026-06-20T15:03:40Z) - To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks [56.11584171938381]
心の理論 (ToM) は、モデルが信念、欲望、意図などの隠された精神状態を推測できるかどうかを評価する。
近年のLRM(Large Reasoning Models)の進歩により、数学やコーディングにおけるステップバイステップ推論が向上している。
本研究では,9つの大規模言語モデル(LLM)の体系的研究を行い,推論モデルと非推論モデルを比較した。
論文 参考訳(メタデータ) (2026-02-11T08:16:13Z) - Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。
ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。
複数のベンチマーク実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2026-01-08T06:57:03Z) - From Black-box to Causal-box: Towards Building More Interpretable Models [57.23201263629627]
本稿では, 因果解釈可能性の概念を導入し, 特定のモデルのクラスから対実的クエリを評価できるときの形式化について述べる。
我々は、与えられたモデルアーキテクチャが与えられた偽物クエリをサポートするかどうかを決定する完全なグラフィカルな基準を導出する。
論文 参考訳(メタデータ) (2025-10-24T20:03:18Z) - A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。
大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文 参考訳(メタデータ) (2025-05-29T18:55:05Z) - Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning [12.559028963968247]
モデルの推論能力と公平性との関係について検討する。
より強力な推論能力を持つ大型モデルは、かなり低いステレオタイプバイアスを示す。
本稿では,先進的推論モデルから構造的推論トレースを抽出し,そのような能力を欠いたモデルに注入する手法であるReGiFTを紹介する。
論文 参考訳(メタデータ) (2025-04-08T03:21:51Z) - To what extent do human explanations of model behavior align with actual
model behavior? [91.67905128825402]
モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。
自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。
モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
論文 参考訳(メタデータ) (2020-12-24T17:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。