論文の概要: Dynamic Manifold Evolution Theory: Modeling and Stability Analysis of Latent Representations in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.20340v1
• Date: Sat, 24 May 2025 14:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.187035
• Title: Dynamic Manifold Evolution Theory: Modeling and Stability Analysis of Latent Representations in Large Language Models
• Title（参考訳）: 動的多様体進化理論:大規模言語モデルにおける潜在表現のモデル化と安定性解析
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 大規模言語モデル生成をモデル化する統合フレームワークである動的マニフォールド進化論(DMET)を紹介する。 Intent_stateの更新を連続力学の離散時間オイラー近似としてキャストすることにより、本質的なエネルギー駆動フローとコンテキスト依存力をTransformerコンポーネントにマッピングする。
• 参考スコア（独自算出の注目度）: 4.084134914321567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Dynamic Manifold Evolution Theory (DMET),a unified framework that models large language model generation as a controlled dynamical system evolving on a low_dimensional semantic manifold. By casting latent_state updates as discrete time Euler approximations of continuous dynamics, we map intrinsic energy_driven flows and context_dependent forces onto Transformer components (residual connections, attention, feed-forward networks). Leveraging Lyapunov stability theory We define three empirical metrics (state continuity, clustering quality, topological persistence) that quantitatively link latent_trajectory properties to text fluency, grammaticality, and semantic coherence. Extensive experiments across decoding parameters validate DMET's predictions and yield principled guidelines for balancing creativity and consistency in text generation.
• Abstract（参考訳）: 低次元意味多様体上で進化する制御力学系として,大規模言語モデル生成をモデル化する統合フレームワークであるDynamic Manifold Evolution Theory (DMET)を導入する。 遅延状態更新を連続力学の離散時間オイラー近似としてキャストすることにより、本質的なエネルギー駆動フローとコンテキスト依存性の力をトランスフォーマーコンポーネント(残留接続、注意、フィードフォワードネットワーク)にマッピングする。 リアプノフ安定性理論の活用 我々は3つの経験的指標(状態連続性、クラスタリング品質、トポロジカル永続性)を定義し、ラテント・トラジェクトリー特性をテキスト流速性、文法性、セマンティックコヒーレンスに定量的に関連付ける。 復号パラメータの広範な実験は、DMETの予測を検証し、テキスト生成における創造性と一貫性のバランスをとるための原則化されたガイドラインを与える。

関連論文リスト

• The Trinity of Consistency as a Defining Principle for General World Models [106.16462830681452]
  一般世界モデルは、客観的物理法則を学習し、シミュレートし、推論することができる。 本稿では,一般世界モデルに必要な基本的特性を定義するための理論的枠組みを提案する。 我々の研究は、現在のシステムの限界と将来の進歩のためのアーキテクチャ要件の両方を明確にし、一般的な世界モデルへの原則的な経路を確立します。
  論文  参考訳（メタデータ） (2026-02-26T16:15:55Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Aligning Agentic World Models via Knowledgeable Experience Learning [68.85843641222186]
  環境フィードバックをシンセサイザー化したWorld Knowledge Repositoryを構築するフレームワークであるWorldMindを紹介する。 WorldMindは、優れたクロスモデルとクロス環境転送性を備えたベースラインよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-19T17:33:31Z)
• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models [3.4219049032524804]
  本稿では,時間的大言語モデルに基づく動的トピック進化のためのモデリングフレームワークを提案する。 提案手法は,大規模テキストにおける動的セマンティックパターンを理解するための体系的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-12T13:50:41Z)
• Kuramoto Orientation Diffusion Models [67.0711709825854]
  指紋やテクスチャなどのオリエンテーションに富んだ画像は、しばしばコヒーレントな角模様を示す。 生体系における位相同期の役割を動機として,スコアベース生成モデルを提案する。 一般的な画像ベンチマークで競合する結果を実装し,指紋やテクスチャなどの指向性データセットの生成品質を大幅に向上する。
  論文  参考訳（メタデータ） (2025-09-18T18:18:49Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology [4.280045926995889]
  本研究では,大規模言語モデルの内部表現空間に対して,逆入力が体系的にどう影響するかに着目した。 アクティベーションの形状と神経情報の流れを定量化することにより、アーキテクチャに依存しない枠組みは、表現的変化の基本的な不変性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• Multi-Scale Probabilistic Generation Theory: A Unified Information-Theoretic Framework for Hierarchical Structure in Large Language Models [1.0117553823134735]
  大規模言語モデル(LLM)は目覚ましい能力を示すが、力学レベルでは理解されていない。 本稿では,マルチスケール確率生成理論(MSPGT)を紹介する。 MSPGTは、標準言語モデリングの目的が暗黙的にマルチスケール情報圧縮を最適化することを示唆している。
  論文  参考訳（メタデータ） (2025-05-23T16:55:35Z)
• A PID-Controlled Tensor Wheel Decomposition Model for Dynamic Link Prediction [3.525733859925913]
  本研究では, PID制御型テンソルホイール分解(PTWD)モデルについて述べる。 提案するPTWDモデルは,他のモデルと比較して高精度なリンク予測機能を有する。
  論文  参考訳（メタデータ） (2025-05-20T11:14:30Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning [124.9856253431878]
  グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。 本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。 提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
  論文  参考訳（メタデータ） (2020-05-14T08:10:54Z)
• Learning Group Structure and Disentangled Representations of Dynamical Environments [7.4769019455423855]
  本稿では,その進化を生成する変換を中心に構築された動的環境の表現を学習するためのフレームワークを提案する。 逐次的相互作用によって生成された観測データから、目立った対称環境の構造を監督せずに学習する。 提案手法は, 高精度な長距離予測を可能にするとともに, 潜伏空間における予測品質と絡み合いの相関関係を示す。
  論文  参考訳（メタデータ） (2020-02-17T14:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。