論文の概要: Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs

• arxiv url: http://arxiv.org/abs/2609.04753v1
• Date: Fri, 04 Sep 2026 05:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.92293
• Title: Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs
• Title（参考訳）: LLMにおける共振動作の機械論的解釈
• Abstract要約: 本研究では,異なる推論操作が隠れ表現に対応する幾何学的構造を示すか否かを考察する。 操作は保持された表現で分離可能であり、分離性は中間層でピークとなる。 本研究は,言語モデルが言語推論表現とその内部幾何学構造との表現的対応を維持することを示す。
• 参考スコア（独自算出の注目度）: 46.97620918293402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning in large language models unfolds through diverse functional operations, such as problem formulation, goal decomposition, and deduction. Although these operations are explicitly distinguished in text, little is known about how they are geometrically organized in representation spaces. To this end, we investigate whether distinct reasoning operations exhibit corresponding geometric structure in hidden representations. We find that operations are separable in held-out representations, with separability peaking in middle layers, and verify that this structure is not explained by lexical or positional confounds. Across layers, token-wise operation-alignment becomes more distributed over spans, while identical surface tokens are represented differently depending on the operation of its surrounding chunk. Attention-masking interventions further show that operation-aligned representations at chunk onset depend on preceding reasoning context. Consequently, our work demonstrates that language models maintain representational correspondence between linguistic reasoning expressions and their internal geometric structures. Code and project materials are available at https://github.com/naver-ai/beneath-cot.
• Abstract（参考訳）: 大規模言語モデルの推論は、問題定式化、ゴール分解、推論といった様々な機能的操作を通じて展開される。 これらの操作はテキストで明確に区別されているが、どのように幾何学的に表現空間に整理されているかはほとんど分かっていない。 そこで本研究では,異なる推論操作が隠れ表現に対応する幾何学的構造を示すか否かを考察する。 我々は,中間層で分離性がピークとなる保持表現において操作が分離可能であることを確認し,この構造が語彙的あるいは位置的整合性によって説明されないことを確認する。 層を超えて、トークン単位の操作アライメントはスパンに分散し、同じ表面トークンはその周囲のチャンクの操作に応じて異なる表現がなされる。 注意-マスキングの介入は、チャンク開始時の操作整列表現が、先行する推論コンテキストに依存することを示す。 その結果,言語モデルが言語推論表現とその内部幾何学構造との表現的対応を維持することを示す。 コードとプロジェクト資料はhttps://github.com/naver-ai/beneath-cot.comで公開されている。

関連論文リスト

• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• The Representational Geometry of Number [1.5994376682356057]
  数値表現はタスク間の安定な関係構造を保っていることを示す。 タスク固有の表現は、分離可能な線形方向に沿ってエンコードされた等級のような低レベルな特徴を持つ、異なる部分空間に埋め込まれている。 このことは、タスク固有の変換が概念表現の共通基盤関係構造に適用されたときに、理解が生じることを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T16:35:22Z)
• Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models [2.3204178451683264]
  埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的アプローチであるRotor-Invariant Shift Estimation (RISE)を導入する。 RISE操作は高い性能で言語とモデルの両方をまたいで動作することができる。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応するという最初の体系的な実証を提供する。
  論文  参考訳（メタデータ） (2025-10-10T18:51:32Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Hierarchical Pyramid Representations for Semantic Segmentation [0.0]
  コンテキストはこれらの固有の特性に基づいているため、オブジェクトの構造とオブジェクト間の階層構造を学ぶ。 本研究では,新しい階層的,文脈的,マルチスケールのピラミッド表現を設計し,入力画像から特徴を捉える。 提案手法はPASCALコンテキストにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-05T06:39:12Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。