論文の概要: Reasoning emerges from constrained inference manifolds in large language models

• arxiv url: http://arxiv.org/abs/2605.08142v1
• Date: Sat, 02 May 2026 10:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.389468
• Title: Reasoning emerges from constrained inference manifolds in large language models
• Title（参考訳）: 大規模言語モデルにおける制約付き推論多様体からの推論
• Authors: Yanbiao Ma, Fei Luo, Linfeng Zhang, Chuangxin Zhao, Mingxuan Wang, Yinan Wu, Zhe Qian, Yang Lu, Long Chen, Zhao Cao, Xiaoshuai Hao, Ji-Rong Wen, Jungong Han,
• Abstract要約: 我々は推論中の内部表現の進化を調べることによって、本質的な力学過程としての推論を研究する。 このような幾何学的圧縮は広く普及しているが、安定的あるいは信頼性のある推論には不十分である。
• 参考スコア（独自算出の注目度）: 98.6966322378456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning in large language models is predominantly evaluated through labeled benchmarks, conflating task performance with the quality of internal inference. Here we study reasoning as an intrinsic dynamical process by examining the evolution of internal representations during inference. We find that inference-time dynamics consistently self-organize into low-dimensional manifolds embedded within high-dimensional representation spaces. we find that such geometric compression, although pervasive, is not sufficient for stable or reliable reasoning. Instead, effective reasoning dynamics emerge within a constrained structural regime characterized by three conditions: adequate representational expressivity, spontaneous manifold compression, and preservation of non-degenerate information volume within the compressed subspace. Models outside this regime exhibit characteristic pathological inference dynamics. Based on these insights, we introduce a unified, label-free diagnostic computed solely from internal dynamics. These findings suggest that reasoning in LLMs is fundamentally governed by geometric and informational constraints, offering a complementary framework to benchmark-centric assessment.
• Abstract（参考訳）: 大規模言語モデルの推論は、主にラベル付きベンチマークを通じて評価され、タスク性能と内部推論の品質を混同する。 本稿では、推論中の内部表現の進化を調べることによって、本質的な力学過程としての推論を研究する。 推論時力学は、高次元表現空間内に埋め込まれた低次元多様体に一貫して自己組織化される。 このような幾何学的圧縮は 普及しているとはいえ 安定的あるいは信頼できる推論には不十分です 代わりに、効果的な推論力学は、適切な表現表現表現性、自発的な多様体圧縮、圧縮された部分空間内の非退化情報ボリュームの保存という3つの条件によって特徴づけられる制約された構造的構造の中に現れる。 この体制外のモデルには、特徴的な病理学的推論のダイナミクスが現れる。 これらの知見に基づき、内部力学からのみ計算された統一されたラベルフリー診断を導入する。 これらの結果は, LLMにおける推論は, 幾何的および情報的制約によって根本的に制御され, ベンチマーク中心の評価に補完的な枠組みが提供されることを示唆している。

関連論文リスト

• Spatiotemporal Hidden-State Dynamics as a Signature of Internal Reasoning in Large Language Models [0.0]
  内部表現は正確性に関連する信号を運ぶが、その粗い凝集はトークンや層構造を曖昧にする可能性がある。 本研究では,デコードステップとレイヤ間の隠れ状態遷移を調査し,大きな推論モデル(LRM)のパターンを同定する。 我々は,この特徴を遅延遷移の時空間振幅 (StALT) として定式化する。これは,層内サリエンスによって重み付けられた隣接トークン間の時間的変化を要約する統計軌道である。
  論文  参考訳（メタデータ） (2026-05-03T12:46:41Z)
• SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments [75.60795462502949]
  SpaceEvoは3D空間推論のための自己進化型フレームワークである。 16の空間推論タスクカテゴリを明示的な幾何学的検証規則で定式化する。 注釈のない3Dシーンをゼロノイズのインタラクティブなオラクルに変換し、モデルコンセンサスを客観的な物理的フィードバックに置き換える。
  論文  参考訳（メタデータ） (2026-04-15T17:59:12Z)
• Emergent Manifold Separability during Reasoning in Large Language Models [46.78826734548872]
  Chain-of-Thoughtは大規模言語モデルの推論を大幅に改善する。 本研究では,潜伏表現の線形分離性について,探究訓練の難易度を考慮せずに定量化する。
  論文  参考訳（メタデータ） (2026-02-23T20:36:17Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology [4.280045926995889]
  本研究では,大規模言語モデルの内部表現空間に対して,逆入力が体系的にどう影響するかに着目した。 アクティベーションの形状と神経情報の流れを定量化することにより、アーキテクチャに依存しない枠組みは、表現的変化の基本的な不変性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。 LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。 本研究では,LLMにおける内部表現のレンズによる推論について検討する。
  論文  参考訳（メタデータ） (2024-05-29T02:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。