論文の概要: Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment

• arxiv url: http://arxiv.org/abs/2502.06302v2
• Date: Wed, 26 Mar 2025 15:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 16:24:52.207209
• Title: Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment
• Title（参考訳）: 大規模言語モデルにおける潜在収束変調:反復的文脈認識への新しいアプローチ
• Authors: Patricia Porretta, Sylvester Pakenham, Huxley Ainsworth, Gregory Chatten, Godfrey Allerton, Simon Hollingsworth, Vance Periwinkle,
• Abstract要約: 隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Token prediction stability remains a challenge in autoregressive generative models, where minor variations in early inference steps often lead to significant semantic drift over extended sequences. A structured modulation mechanism was introduced to regulate hidden state transitions, ensuring that latent representation trajectories remain aligned with prior contextual dependencies while preserving generative flexibility. The modulation framework was designed to function within transformer-based architectures, dynamically constraining representation evolution without imposing external memory dependencies or extensive architectural modifications. Empirical evaluations demonstrated that structured latent adjustments contributed to reductions in perplexity fluctuations, entropy variance, and lexical instability, improving coherence in long-form text generation. Gradient propagation stability was further analyzed, revealing that the modulation process led to smoother optimization pathways, mitigating erratic fluctuations in weight updates across successive inference steps. The computational efficiency of the modulation process was assessed, showing that its integration within transformer-based architectures introduced only marginal overhead while maintaining compatibility with existing optimization frameworks. The structured modulation constraints also influenced syntactic variation, preventing excessive repetition while maintaining balanced sentence length distributions. Comparative evaluations against baseline models reinforced the role of controlled latent state evolution in improving pronoun resolution, logical consistency, and contextual alignment across autoregressive text generation tasks.
• Abstract（参考訳）: トークン予測の安定性は自己回帰的生成モデルにおいて依然として課題であり、初期の推論ステップの小さなバリエーションは、拡張シーケンスに対して大きな意味的ドリフトをもたらすことが多い。 構造的変調機構を導入して、隠れ状態遷移を規制し、潜在表現軌道が、生成的柔軟性を維持しながら、事前のコンテキスト依存に一致し続けることを保証した。 変調フレームワークはトランスフォーマーベースのアーキテクチャ内で機能し、外部メモリ依存や広範なアーキテクチャ変更を伴わずに、動的に表現の進化を制限するように設計されている。 実験的な評価により,構造化潜在調整が複雑度変動,エントロピー分散,語彙不安定の低減に寄与し,長文生成におけるコヒーレンスが改善された。 さらにグラディエントな伝播安定性を解析し、変調過程がよりスムーズな最適化経路を導き、連続した推論ステップをまたいだ重み更新における不規則な変動を緩和することを示した。 変調プロセスの計算効率は評価され、トランスフォーマーベースのアーキテクチャへの統合は、既存の最適化フレームワークとの互換性を維持しながら、限界的なオーバーヘッドしか導入しなかったことが示されている。 構造的変調制約は構文的変動にも影響し, 文長分布のバランスを維持しながら過度な繰り返しを防止した。 ベースラインモデルとの比較評価により、自動回帰テキスト生成タスク間の代名詞分解、論理的整合性、文脈的整合性を改善する上で、制御された潜在状態の進化の役割が強化された。

関連論文リスト

• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [51.32059240975148]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Exploring Contextual Flux in Large Language Models: A Novel Approach to Self-Modulating Semantic Networks [0.0]
  自己変調機構は言語モデル内で動的適応機能を導入する。 コンテキスト適応戦略は、拡張シーケンスにわたるトークン埋め込み軌跡に影響を与える。 自己規制は、生成の柔軟性を維持しながら、テキスト生成の一貫性を高める。 適応的な埋め込み更新はコヒーレンスの特定の側面を改善するが、その影響はモデルのキャパシティと入力の複雑さに及ばない。
  論文  参考訳（メタデータ） (2025-02-16T01:08:19Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
  潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。 コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。 実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
  論文  参考訳（メタデータ） (2025-02-06T04:01:27Z)
• Context-Preserving Gradient Modulation for Large Language Models: A Novel Approach to Semantic Consistency in Long-Form Text Generation [0.19791587637442667]
  文脈的関連性に応じてパラメータ更新を動的に調整する新しい変調勾配法が導入された。 提案手法は,計算オーバーヘッドを著しく抑えることなく,モデル生成物語の安定性を向上させる。
  論文  参考訳（メタデータ） (2025-02-05T22:13:06Z)
• Gradient-Regularized Latent Space Modulation in Large Language Models for Structured Contextual Synthesis [0.0]
  本稿では、潜在空間における構造化制約の適用を通じて、テキスト生成を導くための新しいパラダイムを提案する。 勾配に基づく正規化の統合は、潜在表現の突然の変動を緩和する。 このフレームワークは、ニューラルネットワークに固有の生成的柔軟性を維持しながら、構造上の不整合を著しく低減する。
  論文  参考訳（メタデータ） (2025-02-04T03:43:52Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。