論文の概要: Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective

• arxiv url: http://arxiv.org/abs/2505.20340v2
• Date: Mon, 13 Oct 2025 15:56:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.658473
• Title: Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective
• Title（参考訳）: 大規模言語モデルにおける潜在表現力学の実証的研究--マニフォールド進化の視点から
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。
• 参考スコア（独自算出の注目度）: 4.935224714809964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the Dynamical Manifold Evolution Theory (DMET), a conceptual framework that models large language model (LLM) generation as a continuous trajectory evolving on a low-dimensional semantic manifold. The theory characterizes latent dynamics through three interpretable metrics-state continuity ($C$), attractor compactness ($Q$), and topological persistence ($P$)-which jointly capture the smoothness, stability, and structure of representation evolution. Empirical analyses across multiple Transformer architectures reveal consistent links between these latent dynamics and text quality: smoother trajectories correspond to greater fluency, and richer topological organization correlates with enhanced coherence. Different models exhibit distinct dynamical regimes, reflecting diverse strategies of semantic organization in latent space. Moreover, decoding parameters such as temperature and top-$p$ shape these trajectories in predictable ways, defining a balanced region that harmonizes fluency and creativity. As a phenomenological rather than first-principles framework, DMET provides a unified and testable perspective for interpreting, monitoring, and guiding LLM behavior, offering new insights into the interplay between internal representation dynamics and external text generation quality.
• Abstract（参考訳）: 本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。 複数のトランスフォーマーアーキテクチャにまたがる経験的分析は、これらの潜伏力学とテキスト品質の一貫性のある関係を明らかにしている: より滑らかな軌道はより流線型に対応し、よりリッチなトポロジカルな組織はコヒーレンスを向上する。 異なるモデルは、潜在空間における意味的組織についての様々な戦略を反映して、異なる力学的な状態を示す。 さらに、温度や対価などのデコードパラメータは、これらの軌道を予測可能な方法で形作り、流感と創造性を調和させるバランスのとれた領域を定義する。 DMETは、第一原理フレームワークではなく現象学的なフレームワークとして、LCMの振る舞いを解釈、監視、ガイドするための統一的でテスト可能な視点を提供し、内部表現力学と外部テキスト生成品質の相互作用に関する新たな洞察を提供する。

関連論文リスト

• The Trinity of Consistency as a Defining Principle for General World Models [106.16462830681452]
  一般世界モデルは、客観的物理法則を学習し、シミュレートし、推論することができる。 本稿では,一般世界モデルに必要な基本的特性を定義するための理論的枠組みを提案する。 我々の研究は、現在のシステムの限界と将来の進歩のためのアーキテクチャ要件の両方を明確にし、一般的な世界モデルへの原則的な経路を確立します。
  論文  参考訳（メタデータ） (2026-02-26T16:15:55Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Aligning Agentic World Models via Knowledgeable Experience Learning [68.85843641222186]
  環境フィードバックをシンセサイザー化したWorld Knowledge Repositoryを構築するフレームワークであるWorldMindを紹介する。 WorldMindは、優れたクロスモデルとクロス環境転送性を備えたベースラインよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-19T17:33:31Z)
• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models [3.4219049032524804]
  本稿では,時間的大言語モデルに基づく動的トピック進化のためのモデリングフレームワークを提案する。 提案手法は,大規模テキストにおける動的セマンティックパターンを理解するための体系的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-12T13:50:41Z)
• Kuramoto Orientation Diffusion Models [67.0711709825854]
  指紋やテクスチャなどのオリエンテーションに富んだ画像は、しばしばコヒーレントな角模様を示す。 生体系における位相同期の役割を動機として,スコアベース生成モデルを提案する。 一般的な画像ベンチマークで競合する結果を実装し,指紋やテクスチャなどの指向性データセットの生成品質を大幅に向上する。
  論文  参考訳（メタデータ） (2025-09-18T18:18:49Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology [4.280045926995889]
  本研究では,大規模言語モデルの内部表現空間に対して,逆入力が体系的にどう影響するかに着目した。 アクティベーションの形状と神経情報の流れを定量化することにより、アーキテクチャに依存しない枠組みは、表現的変化の基本的な不変性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• Multi-Scale Probabilistic Generation Theory: A Unified Information-Theoretic Framework for Hierarchical Structure in Large Language Models [1.0117553823134735]
  大規模言語モデル(LLM)は目覚ましい能力を示すが、力学レベルでは理解されていない。 本稿では,マルチスケール確率生成理論(MSPGT)を紹介する。 MSPGTは、標準言語モデリングの目的が暗黙的にマルチスケール情報圧縮を最適化することを示唆している。
  論文  参考訳（メタデータ） (2025-05-23T16:55:35Z)
• A PID-Controlled Tensor Wheel Decomposition Model for Dynamic Link Prediction [3.525733859925913]
  本研究では, PID制御型テンソルホイール分解(PTWD)モデルについて述べる。 提案するPTWDモデルは,他のモデルと比較して高精度なリンク予測機能を有する。
  論文  参考訳（メタデータ） (2025-05-20T11:14:30Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning [124.9856253431878]
  グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。 本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。 提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
  論文  参考訳（メタデータ） (2020-05-14T08:10:54Z)
• Learning Group Structure and Disentangled Representations of Dynamical Environments [7.4769019455423855]
  本稿では,その進化を生成する変換を中心に構築された動的環境の表現を学習するためのフレームワークを提案する。 逐次的相互作用によって生成された観測データから、目立った対称環境の構造を監督せずに学習する。 提案手法は, 高精度な長距離予測を可能にするとともに, 潜伏空間における予測品質と絡み合いの相関関係を示す。
  論文  参考訳（メタデータ） (2020-02-17T14:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。