論文の概要: Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation

• arxiv url: http://arxiv.org/abs/2502.08818v1
• Date: Wed, 12 Feb 2025 22:11:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:48:59.450596
• Title: Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation
• Title（参考訳）: 大規模言語モデルにおける語彙的マニフォールド再構成:文脈変調のための新しいアーキテクチャ的アプローチ
• Authors: Koinis Vassilis, Godfrey Milbourne, Harriet Featherstone, Xanthe Peverell, Yorick Bletchley, Zachary Montford,
• Abstract要約: 連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Contextual adaptation in token embeddings plays a central role in determining how well language models maintain coherence and retain semantic relationships over extended text sequences. Static embeddings often impose constraints on lexical flexibility, leading to suboptimal performance when faced with complex sentence structures or domain-specific terminology shifts. To address this limitation, a structured approach was developed for dynamically reconfiguring token embeddings through continuous geometric transformations, ensuring that representations evolved in response to evolving discourse structures. A manifold-based transformation mechanism was integrated to regulate lexical positioning, allowing embeddings to undergo controlled shifts while preserving linguistic relationships across varying textual contexts. Empirical evaluations demonstrated that embedding reconfiguration contributed to reductions in perplexity, improved lexical coherence, and enhanced sentence-level continuity, particularly in structured and domain-adaptive text generation tasks. Comparative analyses of embedding drift indicated that dynamically restructured representations maintained stronger contextual consistency, reducing misalignment in token dependencies while preserving fluency in language modeling outputs. Computational overhead assessments confirmed that while training complexity increased due to the iterative refinement of embeddings, inference remained efficient, ensuring practical feasibility for real-time generation. Evaluations across multiple datasets further demonstrated that dynamically modulated embeddings exhibited broader lexical diversity, reducing repetitive token patterns and enabling a more adaptable representation learning process.
• Abstract（参考訳）: トークン埋め込みにおける文脈適応は、言語モデルがコヒーレンスを維持し、拡張されたテキストシーケンスに対する意味的関係を維持する方法を決定する上で、中心的な役割を果たす。 静的な埋め込みはしばしば語彙の柔軟性に制約を課し、複雑な文構造やドメイン固有の用語シフトに直面した場合、最適以下のパフォーマンスをもたらす。 この制限に対処するため、連続的な幾何学的変換を通じてトークンの埋め込みを動的に再構成する構造的アプローチが開発され、表現が進化する談話構造に応答して進化することを保証した。 多様体に基づく変換機構は語彙的位置決めを調節するために統合され、埋め込みは様々なテクスチャの文脈で言語的関係を保ちながら制御されたシフトを行うことができる。 経験的評価では、組込み再構成は、特に構造化およびドメイン適応テキスト生成タスクにおいて、パープレキシティの低減、語彙コヒーレンスの改善、文レベルの連続性の向上に寄与することが示された。 埋め込みドリフトの比較分析により,動的に再構成された表現がより強い文脈整合性を維持し,言語モデリング出力の流速を保ちながらトークン依存の不整合を減少させることが示された。 計算的オーバーヘッド評価では、埋め込みの反復的洗練によりトレーニングの複雑さが増大する一方で、推論は効率的であり、リアルタイム生成の実現可能性を保証することが確認された。 複数のデータセットに対する評価により、動的に変調された埋め込みはより広い語彙の多様性を示し、反復的なトークンパターンを減らし、より適応可能な表現学習プロセスを可能にした。

関連論文リスト

• Exploring Contextual Flux in Large Language Models: A Novel Approach to Self-Modulating Semantic Networks [0.0]
  自己変調機構は言語モデル内で動的適応機能を導入する。 コンテキスト適応戦略は、拡張シーケンスにわたるトークン埋め込み軌跡に影響を与える。 自己規制は、生成の柔軟性を維持しながら、テキスト生成の一貫性を高める。 適応的な埋め込み更新はコヒーレンスの特定の側面を改善するが、その影響はモデルのキャパシティと入力の複雑さに及ばない。
  論文  参考訳（メタデータ） (2025-02-16T01:08:19Z)
• Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation [0.0]
  構造的階層的埋め込みをトランスフォーマーベースのアーキテクチャに統合することで、語彙表現に対する洗練されたアプローチが導入された。 トークンを構造化多様体にマッピングする射影機構は、改善された語彙アライメントを提供する。 埋め込みの洗練された階層構造は、語彙モデリングにおいてより大きな解釈可能性をもたらす。
  論文  参考訳（メタデータ） (2025-02-08T00:49:32Z)
• Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
  潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。 コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。 実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
  論文  参考訳（メタデータ） (2025-02-06T04:01:27Z)
• Contextual Morphogenesis in Large Language Models: A Novel Approach to Self-Organizing Token Representations [0.0]
  文脈形態形成は、学習された文脈依存に基づいてトークン境界を再構成する自己組織化機構を確立する。 経験的評価は、動的に調整されたトークン化が表現安定性を維持しながら複雑度を低下させることを示す。 異なる言語コーパス間の比較評価は、適応的トークン化は解釈可能性を維持しつつ、文脈的手がかりとの整合性を改善することを示唆している。 構造安定性の精製と予測性能における文脈形態形成の有効性は、従来のトークン化法に代わるものとしての生存性を強調している。
  論文  参考訳（メタデータ） (2025-02-01T03:50:46Z)
• Contextually Structured Token Dependency Encoding for Large Language Models [0.0]
  自己注意機構は動的文脈依存を捉えるが、学習した重み分布への依存は、生成配列における長距離階層構造の保存を制限する。 依存性を意識したトークンエンコーディングでは,トークン表現内にリレーショナル制約を埋め込むという,構造化されたアプローチが導入されている。 経験的評価は、多種多様な言語ベンチマークにおけるパープレキシティの低下を示し、自己回帰テキスト生成における文脈的一貫性と予測一貫性の改善を示唆している。
  論文  参考訳（メタデータ） (2025-01-30T08:51:48Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。