論文の概要: Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2601.14270v1
- Date: Fri, 02 Jan 2026 06:22:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-25 16:54:51.820186
- Title: Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models
- Title（参考訳）: ブラックボックスのオープン:大規模言語モデルにおけるマルチステップ推論のメカニズムに関する調査
- Authors: Liangming Pan, Jason Liang, Jiaran Ye, Minglai Yang, Xinyuan Lu, Fengbin Zhu,
- Abstract要約: 大規模言語モデル(LLM)は、複数の推論ステップを必要とする問題を解く際、顕著な能力を示した。
この調査は、LLMのマルチステップ推論の基礎となるメカニズムを概観する。
- 参考スコア（独自算出の注目度）: 34.14825157480144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable abilities to solve problems requiring multiple reasoning steps, yet the internal mechanisms enabling such capabilities remain elusive. Unlike existing surveys that primarily focus on engineering methods to enhance performance, this survey provides a comprehensive overview of the mechanisms underlying LLM multi-step reasoning. We organize the survey around a conceptual framework comprising seven interconnected research questions, from how LLMs execute implicit multi-hop reasoning within hidden activations to how verbalized explicit reasoning remodels the internal computation. Finally, we highlight five research directions for future mechanistic studies.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、複数の推論ステップを必要とする問題を解くのに顕著な能力を示してきたが、そのような機能を実現する内部メカニズムはいまだ解明されていない。
主に性能向上のための工学的手法に焦点を当てた既存の調査とは異なり、この調査はLLMのマルチステップ推論の基礎となるメカニズムを包括的に概説する。
我々は,LLMが隠れたアクティベーション内で暗黙的なマルチホップ推論を実行する方法から,言語化された明示的推論が内部計算をどうモデル化するかという,7つの相互接続された研究課題からなる概念的枠組みに関する調査を組織化した。
最後に,今後の機械学研究の5つの方向について述べる。
関連論文リスト
- Deep Research: A Systematic Survey [118.82795024422722]
Deep Research (DR)は、大規模言語モデルの推論能力と検索エンジンなどの外部ツールを組み合わせることを目的としている。
本調査は,深層研究システムの包括的かつ体系的な概要を提示する。
論文 参考訳（メタデータ） (2025-11-24T15:28:28Z) - VReST: Enhancing Reasoning in Large Vision-Language Models through Tree Search and Self-Reward Mechanism [13.759089543987473]
我々は,モンテカルロ木探索と自己回帰機構を用いて,LVLMにおける推論を強化するトレーニングフリーアプローチであるVReSTを提案する。
VReSTは現在のプロンプトメソッドを超え、3つのマルチモーダル数学的推論ベンチマークで最先端のパフォーマンスを確保する。
論文 参考訳（メタデータ） (2025-06-10T11:02:36Z) - Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models [79.52467430114805]
推論は知性の中心にあり、決定し、結論を導き、ドメインをまたいで一般化する能力を形成する。
人工知能において、システムがオープンで不確実でマルチモーダルな環境でますます機能するにつれて、推論は堅牢で適応的な行動を可能にするために不可欠となる。
大規模マルチモーダル推論モデル(LMRM)は、テキスト、画像、オーディオ、ビデオなどのモダリティを統合し、複雑な推論機能をサポートする、有望なパラダイムとして登場した。
論文 参考訳（メタデータ） (2025-05-08T03:35:23Z) - Scaling and Beyond: Advancing Spatial Reasoning in MLLMs Requires New Recipes [84.1059652774853]
MLLM(Multimodal Large Language Models)は、一般的な視覚言語タスクにおいて印象的な性能を示す。
近年の研究では、空間的推論能力の限界が明らかにされている。
この空間的推論の欠如は、MLLMが物理的世界と効果的に相互作用する能力を著しく制限する。
論文 参考訳（メタデータ） (2025-04-21T11:48:39Z) - Mind with Eyes: from Language Reasoning to Multimodal Reasoning [19.719640188412463]
言語モデルは近年、推論の領域に進出していますが、より包括的で人間的な認知能力を達成する可能性を完全に解き放つことは、マルチモーダルな推論を通じて行われています。
この調査は、最近のマルチモーダル推論アプローチの体系的な概要を提供し、それらを言語中心のマルチモーダル推論と協調マルチモーダル推論の2つのレベルに分類する。
論文 参考訳（メタデータ） (2025-03-23T13:40:44Z) - Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす
本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。
我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
論文 参考訳（メタデータ） (2024-12-19T13:25:39Z) - Attention Heads of Large Language Models: A Survey [10.136767972375639]
我々は,大規模言語モデル (LLM) の内部的推論過程を体系的に検討し,その役割と機構を解明することを目的としている。
まず,人間の思考プロセスにインスパイアされた新しい4段階のフレームワーク,知識のリコール,文脈内同定,潜在推論,表現準備を紹介する。
本稿では,これらの特殊ヘッドの発見に使用する実験手法を,モデリング自由法とモデリング要求法という2つのカテゴリに分けて分析する。
論文 参考訳（メタデータ） (2024-09-05T17:59:12Z) - Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。
問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。
包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
論文 参考訳（メタデータ） (2021-08-26T04:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。