論文の概要: Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective

• arxiv url: http://arxiv.org/abs/2505.20340v2
• Date: Mon, 13 Oct 2025 15:56:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.658473
• Title: Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective
• Title（参考訳）: 大規模言語モデルにおける潜在表現力学の実証的研究--マニフォールド進化の視点から
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。
• 参考スコア（独自算出の注目度）: 4.935224714809964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the Dynamical Manifold Evolution Theory (DMET), a conceptual framework that models large language model (LLM) generation as a continuous trajectory evolving on a low-dimensional semantic manifold. The theory characterizes latent dynamics through three interpretable metrics-state continuity ($C$), attractor compactness ($Q$), and topological persistence ($P$)-which jointly capture the smoothness, stability, and structure of representation evolution. Empirical analyses across multiple Transformer architectures reveal consistent links between these latent dynamics and text quality: smoother trajectories correspond to greater fluency, and richer topological organization correlates with enhanced coherence. Different models exhibit distinct dynamical regimes, reflecting diverse strategies of semantic organization in latent space. Moreover, decoding parameters such as temperature and top-$p$ shape these trajectories in predictable ways, defining a balanced region that harmonizes fluency and creativity. As a phenomenological rather than first-principles framework, DMET provides a unified and testable perspective for interpreting, monitoring, and guiding LLM behavior, offering new insights into the interplay between internal representation dynamics and external text generation quality.
• Abstract（参考訳）: 本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。 複数のトランスフォーマーアーキテクチャにまたがる経験的分析は、これらの潜伏力学とテキスト品質の一貫性のある関係を明らかにしている: より滑らかな軌道はより流線型に対応し、よりリッチなトポロジカルな組織はコヒーレンスを向上する。 異なるモデルは、潜在空間における意味的組織についての様々な戦略を反映して、異なる力学的な状態を示す。 さらに、温度や対価などのデコードパラメータは、これらの軌道を予測可能な方法で形作り、流感と創造性を調和させるバランスのとれた領域を定義する。 DMETは、第一原理フレームワークではなく現象学的なフレームワークとして、LCMの振る舞いを解釈、監視、ガイドするための統一的でテスト可能な視点を提供し、内部表現力学と外部テキスト生成品質の相互作用に関する新たな洞察を提供する。

関連論文リスト

• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• A PID-Controlled Tensor Wheel Decomposition Model for Dynamic Link Prediction [3.525733859925913]
  本研究では, PID制御型テンソルホイール分解(PTWD)モデルについて述べる。 提案するPTWDモデルは,他のモデルと比較して高精度なリンク予測機能を有する。
  論文  参考訳（メタデータ） (2025-05-20T11:14:30Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning [124.9856253431878]
  グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。 本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。 提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
  論文  参考訳（メタデータ） (2020-05-14T08:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。