論文の概要: Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation
- arxiv url: http://arxiv.org/abs/2502.10013v2
- Date: Wed, 26 Mar 2025 15:56:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 16:24:50.031114
- Title: Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation
- Title（参考訳）: 階層ベクトル場補間による大規模言語モデルの確率論的語彙多様体構築
- Authors: Clive Pendleton, Ewan Harrington, Giles Fairbrother, Jasper Arkwright, Nigel Fenwick, Richard Katrix,
- Abstract要約: 提案手法は,単語表現が位相的整合性に従属する確率関数空間を構築する。
確率制約は、文脈関係を洗練することによって語彙コヒーレンスを高め、複数の言語分布における意味的安定性を改善する。
計算効率の評価では、表現は小さな処理オーバーヘッドをもたらすが、構造化された表現学習アプローチは実用的展開にはスケーラブルである。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Hierarchical vector field interpolation introduces a structured probabilistic framework for lexical representation, ensuring that word embeddings transition smoothly across a continuous manifold rather than being constrained to discrete token mappings. The proposed methodology constructs a probabilistic function space where word representations adhere to topological consistency, mitigating representational discontinuities commonly observed in transformer-based embeddings. Empirical evaluations reveal that probabilistic constraints enhance lexical coherence by refining contextual relationships, leading to improvements in semantic stability across multiple linguistic distributions. The application of divergence minimization techniques ensures that interpolated embeddings maintain probabilistic consistency while preserving computational feasibility for large-scale implementations. Experimental findings demonstrate that interpolated lexical manifolds improve representation density alignment, reducing anisotropic distortions in contextual embedding distributions. Comparative analyses with standard transformer-based models highlight that structured interpolation yields more stable representations, particularly in tasks requiring fine-grained semantic differentiation. The statistical evaluation of embedding divergence confirms that probabilistic lexical manifolds reduce representational inconsistencies while maintaining coherence across varying scales of contextual abstraction. An assessment of computational efficiency reveals that while interpolation introduces minor processing overhead, the structured representation learning approach remains scalable for practical deployment.
- Abstract（参考訳）: 階層ベクトル場補間(hierarchical vector field interpolation)は、語彙表現のための構造化確率的フレームワークを導入し、単語の埋め込みが離散トークン写像に制約されるのではなく、連続多様体にわたって滑らかに遷移することを保証する。
提案手法は, 単語表現がトポロジカルな整合性に従う確率関数空間を構築し, 変圧器による埋め込みでよく見られる表現の不連続性を緩和する。
経験的評価により、確率的制約は文脈関係を洗練することによって語彙コヒーレンスを高めることが示され、複数の言語分布における意味的安定性が向上する。
分散最小化技術の適用により、補間埋め込みは大規模実装の計算可能性を維持しながら確率的整合性を維持する。
実験結果から,補間レキシカル多様体は表現密度アライメントを改善し,文脈埋め込み分布の異方性歪みを低減することが示唆された。
標準変圧器モデルとの比較分析では、構造的補間によりより安定した表現が得られ、特に微細な意味分化を必要とするタスクにおいて顕著である。
埋め込み分散の統計的評価は、確率論的レキシカル多様体が様々な文脈抽象のスケールでコヒーレンスを維持しながら表現の不整合を減少させることを確認する。
計算効率の評価では、補間処理は微妙な処理オーバーヘッドをもたらすが、構造化表現学習アプローチは実用的展開にはスケーラブルである。
関連論文リスト
- Statistical Coherence Alignment for Large Language Model Representation Learning Through Tensor Field Convergence [0.0]
表現学習は、言語の統計的特性を捉えるために、内部埋め込みを構築する上で中心的な役割を果たす。
コヒーレンスアライメントはテンソル場収束を通じて構造化トークン表現を強制する手法として導入された。
経験的評価は、コヒーレンス制約の適用によりパープレキシティが向上し、分類精度が向上し、稀な単語の埋め込みが洗練されることを示している。
論文 参考訳（メタデータ） (2025-02-13T23:24:25Z) - Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions [0.0]
埋め込み遷移は、推論中にトークン表現を動的に調整する確率的メカニズムを導入する。
各トークンの埋め込みは確率的更新によって進化する移行フレームワークが提案された。
経験的評価では、語彙の多様性が向上し、生成コヒーレンスが向上し、低頻度語彙の保持が向上した。
論文 参考訳（メタデータ） (2025-02-08T12:53:52Z) - Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models [0.0]
トークンの埋め込みを確率分布として表現することで、より柔軟な文脈推論が可能になる。
確率埋め込みは、近隣の一貫性を改善し、冗長性を減少させる。
確率埋め込みは、堅牢性に基づく評価シナリオの下でもコンテキスト整合性を維持する。
論文 参考訳（メタデータ） (2025-02-07T21:32:32Z) - Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。
コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。
実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
論文 参考訳（メタデータ） (2025-02-06T04:01:27Z) - Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。
LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。
評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
論文 参考訳（メタデータ） (2025-02-03T23:18:53Z) - Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。
我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。
分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-12T00:37:53Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳（メタデータ） (2020-07-30T05:48:48Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。