論文の概要: Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions

• arxiv url: http://arxiv.org/abs/2502.05553v1
• Date: Sat, 08 Feb 2025 12:53:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:33:02.426013
• Title: Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions
• Title（参考訳）: 確率的概念埋め込みによる大規模言語モデルの潜時構造変調
• Authors: Stefan Whitaker, Colin Sisate, Marcel Windsor, Nikolai Fairweather, Tarquin Goldborough, Oskar Lindenfeld,
• Abstract要約: 埋め込み遷移は、推論中にトークン表現を動的に調整する確率的メカニズムを導入する。 各トークンの埋め込みは確率的更新によって進化する移行フレームワークが提案された。 経験的評価では、語彙の多様性が向上し、生成コヒーレンスが向上し、低頻度語彙の保持が向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Stochastic embedding transitions introduce a probabilistic mechanism for adjusting token representations dynamically during inference, mitigating the constraints imposed through static or deterministic embeddings. A transition framework was proposed in which each token embedding evolved through probabilistic updates, ensuring adaptability while preserving semantic integrity across linguistic contexts. Empirical evaluations demonstrated that models incorporating stochastic transitions exhibited greater lexical diversity, improved generative coherence, and enhanced retention of low-frequency vocabulary, contributing to more varied sentence structures and reduced reliance on high-probability token selections. Statistical analyses of embedding drift across transformer layers indicated that representations evolved more flexibly without losing coherence, supporting the hypothesis that controlled stochasticity facilitated context-sensitive representation learning. Experimental results revealed that probabilistic embeddings introduced minor computational overhead while maintaining generative efficiency, reinforcing their feasibility in large-scale applications. A comparative study with traditional embedding approaches highlighted measurable gains in text completion accuracy, dialogue coherence, and structural complexity, confirming the effectiveness of stochastic transitions in enhancing representation expressiveness. Clustering patterns in the embedding space suggested that probabilistic updates preserved meaningful semantic groupings while enabling context-driven shifts, further validating the stability of the transition mechanism. Performance metrics indicated that stochastic transitions balanced adaptability and control, ensuring that generative outputs remained linguistically coherent without excessive randomness.
• Abstract（参考訳）: 確率的埋め込み遷移は、推論中にトークン表現を動的に調整し、静的または決定論的埋め込みによって課される制約を緩和する確率的メカニズムを導入する。 トランジションフレームワークが提案され、各トークンの埋め込みは確率的更新によって進化し、言語コンテキスト間のセマンティックな整合性を維持しながら適応性を確保する。 経験的評価により,確率遷移を取り入れたモデルでは,語彙の多様性が向上し,生成コヒーレンスが向上し,低頻度語彙の保持が向上し,文構造が変化し,高い確率トークン選択への依存度が低下した。 変圧器層にまたがる埋め込みドリフトの統計的解析により,コヒーレンスを損なうことなく表現が柔軟に進化し,確率性を制御することで文脈に敏感な表現学習が促進されたという仮説を支持した。 実験結果から,確率的埋め込みは生成効率を保ちながら計算オーバーヘッドを小さくし,大規模アプリケーションにおける実現可能性を高めた。 従来の埋め込み手法との比較研究は、テキスト補完精度、対話コヒーレンス、構造的複雑さの計測可能な向上を強調し、表現表現性の向上における確率的遷移の有効性を確認した。 埋め込み空間におけるクラスタリングパターンは、確率的更新が意味のあるセマンティックグルーピングを保存し、コンテキスト駆動のシフトを可能にし、遷移機構の安定性をさらに検証することを示唆している。 性能指標は確率遷移が適応性と制御のバランスを保ち、生成出力が過度なランダム性なしに言語的に一貫性を保つことを示していた。

関連論文リスト

• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Mapping the Multiverse of Latent Representations [17.2089620240192]
  PRESTOは、潜在表現に依存する機械学習モデルのマルチバースをマッピングするための、原則化されたフレームワークである。 我々のフレームワークは、多種多様な機械学習手法の組み合わせから生じる潜伏空間を特徴付けるために永続的ホモロジーを使用する。
  論文  参考訳（メタデータ） (2024-02-02T15:54:53Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。