論文の概要: Towards a Mechanistic Understanding of Large Reasoning Models: A Survey of Training, Inference, and Failures
- arxiv url: http://arxiv.org/abs/2601.19928v1
- Date: Sun, 11 Jan 2026 08:48:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 02:21:38.550231
- Title: Towards a Mechanistic Understanding of Large Reasoning Models: A Survey of Training, Inference, and Failures
- Title（参考訳）: 大規模推論モデルの機械的理解に向けて:訓練・推論・失敗のサーベイ
- Authors: Yi Hu, Jiaqi Gu, Ruxin Wang, Zijun Yao, Hao Peng, Xiaobao Wu, Jianhui Chen, Muhan Zhang, Liangming Pan,
- Abstract要約: 大きな推論モデル(LRM)は推論能力を新しい高さに押し上げた。
本稿では,最近の研究成果を,(1)学習力学,(2)推論機構,(3)意図しない行動の3つにまとめる。
- 参考スコア（独自算出の注目度）: 72.27391760972445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has catalyzed the emergence of Large Reasoning Models (LRMs) that have pushed reasoning capabilities to new heights. While their performance has garnered significant excitement, exploring the internal mechanisms driving these behaviors has become an equally critical research frontier. This paper provides a comprehensive survey of the mechanistic understanding of LRMs, organizing recent findings into three core dimensions: 1) training dynamics, 2) reasoning mechanisms, and 3) unintended behaviors. By synthesizing these insights, we aim to bridge the gap between black-box performance and mechanistic transparency. Finally, we discuss under-explored challenges to outline a roadmap for future mechanistic studies, including the need for applied interpretability, improved methodologies, and a unified theoretical framework.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、推論能力を新しい高さに推し進める大規模推論モデル(LRM)の出現を触媒している。
彼らの業績は大きな興奮をもたらしたが、これらの振る舞いを駆動する内部メカニズムを探索することは同様に重要な研究フロンティアとなった。
本稿では, LRMの機械的理解を包括的に調査し, 最近の知見を3つの中核次元にまとめる。
1) トレーニングダイナミクス
2)推論機構、及び
3)意図しない行動。
これらの知見を合成することで、ブラックボックスのパフォーマンスと機械的透明性のギャップを埋めることを目指している。
最後に、応用解釈可能性、改善された方法論、統一された理論的枠組みなど、将来の力学研究のロードマップを概説する未調査課題について論じる。
関連論文リスト
- Reasoning Promotes Robustness in Theory of Mind Tasks [0.26945563448932225]
大規模言語モデル(LLM)は、最近、Theory of Mind(ToM)テストで強いパフォーマンスを示している。
本稿では,機械心理学実験の新たな適応法と確立されたベンチマークの結果を用いて,ToMタスクにおけるそのような推論モデルの挙動について検討する。
論文 参考訳（メタデータ） (2026-01-23T16:01:24Z) - Beyond the Black Box: Theory and Mechanism of Large Language Models [39.10631426330405]
LLM(Large Language Models)の急速な台頭は、人工知能において大きなパラダイムシフトを引き起こした。
本調査では,データ作成,モデル作成,トレーニング,アライメント,推論,評価の6つの段階に,研究環境を整理するライフサイクルベースの統合分類法を提案する。
論文 参考訳（メタデータ） (2026-01-06T10:45:53Z) - Beyond Description: Cognitively Benchmarking Fine-Grained Action for Embodied Agents [52.14392337070763]
CFG-Benchは、きめ細かな動作インテリジェンスを体系的に評価する新しいベンチマークである。
CFG-Benchは、1,368のキュレートされたビデオと19,562の3つのモダリティからなる質問応答ペアからなる。
CFG-Benchに関する包括的評価から,MLLMの先導者は,物理的相互作用の詳細な指示を生成するのに苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-11-24T02:02:29Z) - A Survey on Large Language Models for Mathematical Reasoning [13.627895103752783]
本研究では,大規模言語モデル(LLM)における数学的推論能力の発達について検討する。
我々は,教師付き微調整や強化学習などの微調整アプローチから,訓練不要なプロンプトまで,数学的推論を強化する手法をレビューする。
顕著な進歩にもかかわらず、キャパシティ、効率、一般化の点で根本的な課題は残る。
論文 参考訳（メタデータ） (2025-06-10T04:44:28Z) - A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond [88.5807076505261]
大規模推論モデル (LRM) は, 推論中におけるチェーン・オブ・ソート (CoT) の推論長を拡大することにより, 高い性能向上を示した。
懸念が高まっているのは、過度に長い推論の痕跡を生み出す傾向にある。
この非効率性は、トレーニング、推論、現実のデプロイメントに重大な課題をもたらす。
論文 参考訳（メタデータ） (2025-03-27T15:36:30Z) - Trade-offs in Large Reasoning Models: An Empirical Analysis of Deliberative and Adaptive Reasoning over Foundational Capabilities [101.77467538102924]
近年のLRM(Large Reasoning Models)の進歩は、特殊推論タスクにおいて顕著な性能を示している。
議論的推論能力の獲得は, LRMの基礎的能力を大幅に低下させることを示す。
適応推論(Zero-Thinking, Less-Thinking, Summary-Thinking)がこれらの欠点を効果的に軽減できることを示します。
論文 参考訳（メタデータ） (2025-03-23T08:18:51Z) - LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。
我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。
我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
論文 参考訳（メタデータ） (2025-02-16T15:54:53Z) - Attention Heads of Large Language Models: A Survey [10.136767972375639]
我々は,大規模言語モデル (LLM) の内部的推論過程を体系的に検討し,その役割と機構を解明することを目的としている。
まず,人間の思考プロセスにインスパイアされた新しい4段階のフレームワーク,知識のリコール,文脈内同定,潜在推論,表現準備を紹介する。
本稿では,これらの特殊ヘッドの発見に使用する実験手法を,モデリング自由法とモデリング要求法という2つのカテゴリに分けて分析する。
論文 参考訳（メタデータ） (2024-09-05T17:59:12Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。