論文の概要: Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions

• arxiv url: http://arxiv.org/abs/2502.05553v1
• Date: Sat, 08 Feb 2025 12:53:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:33:02.426013
• Title: Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions
• Title（参考訳）: 確率的概念埋め込みによる大規模言語モデルの潜時構造変調
• Authors: Stefan Whitaker, Colin Sisate, Marcel Windsor, Nikolai Fairweather, Tarquin Goldborough, Oskar Lindenfeld,
• Abstract要約: 埋め込み遷移は、推論中にトークン表現を動的に調整する確率的メカニズムを導入する。 各トークンの埋め込みは確率的更新によって進化する移行フレームワークが提案された。 経験的評価では、語彙の多様性が向上し、生成コヒーレンスが向上し、低頻度語彙の保持が向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Stochastic embedding transitions introduce a probabilistic mechanism for adjusting token representations dynamically during inference, mitigating the constraints imposed through static or deterministic embeddings. A transition framework was proposed in which each token embedding evolved through probabilistic updates, ensuring adaptability while preserving semantic integrity across linguistic contexts. Empirical evaluations demonstrated that models incorporating stochastic transitions exhibited greater lexical diversity, improved generative coherence, and enhanced retention of low-frequency vocabulary, contributing to more varied sentence structures and reduced reliance on high-probability token selections. Statistical analyses of embedding drift across transformer layers indicated that representations evolved more flexibly without losing coherence, supporting the hypothesis that controlled stochasticity facilitated context-sensitive representation learning. Experimental results revealed that probabilistic embeddings introduced minor computational overhead while maintaining generative efficiency, reinforcing their feasibility in large-scale applications. A comparative study with traditional embedding approaches highlighted measurable gains in text completion accuracy, dialogue coherence, and structural complexity, confirming the effectiveness of stochastic transitions in enhancing representation expressiveness. Clustering patterns in the embedding space suggested that probabilistic updates preserved meaningful semantic groupings while enabling context-driven shifts, further validating the stability of the transition mechanism. Performance metrics indicated that stochastic transitions balanced adaptability and control, ensuring that generative outputs remained linguistically coherent without excessive randomness.
• Abstract（参考訳）: 確率的埋め込み遷移は、推論中にトークン表現を動的に調整し、静的または決定論的埋め込みによって課される制約を緩和する確率的メカニズムを導入する。 トランジションフレームワークが提案され、各トークンの埋め込みは確率的更新によって進化し、言語コンテキスト間のセマンティックな整合性を維持しながら適応性を確保する。 経験的評価により,確率遷移を取り入れたモデルでは,語彙の多様性が向上し,生成コヒーレンスが向上し,低頻度語彙の保持が向上し,文構造が変化し,高い確率トークン選択への依存度が低下した。 変圧器層にまたがる埋め込みドリフトの統計的解析により,コヒーレンスを損なうことなく表現が柔軟に進化し,確率性を制御することで文脈に敏感な表現学習が促進されたという仮説を支持した。 実験結果から,確率的埋め込みは生成効率を保ちながら計算オーバーヘッドを小さくし,大規模アプリケーションにおける実現可能性を高めた。 従来の埋め込み手法との比較研究は、テキスト補完精度、対話コヒーレンス、構造的複雑さの計測可能な向上を強調し、表現表現性の向上における確率的遷移の有効性を確認した。 埋め込み空間におけるクラスタリングパターンは、確率的更新が意味のあるセマンティックグルーピングを保存し、コンテキスト駆動のシフトを可能にし、遷移機構の安定性をさらに検証することを示唆している。 性能指標は確率遷移が適応性と制御のバランスを保ち、生成出力が過度なランダム性なしに言語的に一貫性を保つことを示していた。

関連論文リスト

• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [51.32059240975148]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation [0.0]
  提案手法は,単語表現が位相的整合性に従属する確率関数空間を構築する。 確率制約は、文脈関係を洗練することによって語彙コヒーレンスを高め、複数の言語分布における意味的安定性を改善する。 計算効率の評価では、表現は小さな処理オーバーヘッドをもたらすが、構造化された表現学習アプローチは実用的展開にはスケーラブルである。
  論文  参考訳（メタデータ） (2025-02-14T08:47:10Z)
• Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models [0.0]
  トークンの埋め込みを確率分布として表現することで、より柔軟な文脈推論が可能になる。 確率埋め込みは、近隣の一貫性を改善し、冗長性を減少させる。 確率埋め込みは、堅牢性に基づく評価シナリオの下でもコンテキスト整合性を維持する。
  論文  参考訳（メタデータ） (2025-02-07T21:32:32Z)
• Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
  潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。 コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。 実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
  論文  参考訳（メタデータ） (2025-02-06T04:01:27Z)
• Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
  ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。 LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。 評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
  論文  参考訳（メタデータ） (2025-02-03T23:18:53Z)
• Contextual Morphogenesis in Large Language Models: A Novel Approach to Self-Organizing Token Representations [0.0]
  文脈形態形成は、学習された文脈依存に基づいてトークン境界を再構成する自己組織化機構を確立する。 経験的評価は、動的に調整されたトークン化が表現安定性を維持しながら複雑度を低下させることを示す。 異なる言語コーパス間の比較評価は、適応的トークン化は解釈可能性を維持しつつ、文脈的手がかりとの整合性を改善することを示唆している。 構造安定性の精製と予測性能における文脈形態形成の有効性は、従来のトークン化法に代わるものとしての生存性を強調している。
  論文  参考訳（メタデータ） (2025-02-01T03:50:46Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。