論文の概要: Dynamic Manifold Evolution Theory: Modeling and Stability Analysis of Latent Representations in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.20340v1
• Date: Sat, 24 May 2025 14:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.187035
• Title: Dynamic Manifold Evolution Theory: Modeling and Stability Analysis of Latent Representations in Large Language Models
• Title（参考訳）: 動的多様体進化理論:大規模言語モデルにおける潜在表現のモデル化と安定性解析
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 大規模言語モデル生成をモデル化する統合フレームワークである動的マニフォールド進化論(DMET)を紹介する。 Intent_stateの更新を連続力学の離散時間オイラー近似としてキャストすることにより、本質的なエネルギー駆動フローとコンテキスト依存力をTransformerコンポーネントにマッピングする。
• 参考スコア（独自算出の注目度）: 4.084134914321567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Dynamic Manifold Evolution Theory (DMET),a unified framework that models large language model generation as a controlled dynamical system evolving on a low_dimensional semantic manifold. By casting latent_state updates as discrete time Euler approximations of continuous dynamics, we map intrinsic energy_driven flows and context_dependent forces onto Transformer components (residual connections, attention, feed-forward networks). Leveraging Lyapunov stability theory We define three empirical metrics (state continuity, clustering quality, topological persistence) that quantitatively link latent_trajectory properties to text fluency, grammaticality, and semantic coherence. Extensive experiments across decoding parameters validate DMET's predictions and yield principled guidelines for balancing creativity and consistency in text generation.
• Abstract（参考訳）: 低次元意味多様体上で進化する制御力学系として,大規模言語モデル生成をモデル化する統合フレームワークであるDynamic Manifold Evolution Theory (DMET)を導入する。 遅延状態更新を連続力学の離散時間オイラー近似としてキャストすることにより、本質的なエネルギー駆動フローとコンテキスト依存性の力をトランスフォーマーコンポーネント(残留接続、注意、フィードフォワードネットワーク)にマッピングする。 リアプノフ安定性理論の活用 我々は3つの経験的指標(状態連続性、クラスタリング品質、トポロジカル永続性)を定義し、ラテント・トラジェクトリー特性をテキスト流速性、文法性、セマンティックコヒーレンスに定量的に関連付ける。 復号パラメータの広範な実験は、DMETの予測を検証し、テキスト生成における創造性と一貫性のバランスをとるための原則化されたガイドラインを与える。

関連論文リスト

• A PID-Controlled Tensor Wheel Decomposition Model for Dynamic Link Prediction [3.525733859925913]
  本研究では, PID制御型テンソルホイール分解(PTWD)モデルについて述べる。 提案するPTWDモデルは,他のモデルと比較して高精度なリンク予測機能を有する。
  論文  参考訳（メタデータ） (2025-05-20T11:14:30Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。