論文の概要: Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models
- arxiv url: http://arxiv.org/abs/2502.05346v1
- Date: Fri, 07 Feb 2025 21:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:33:06.599720
- Title: Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける文脈推論のための確率的部分空間多様体
- Authors: Christopher Nightingale, Dominic Lavington, Jonathan Thistlethwaite, Sebastian Penhaligon, Thomas Belinski, David Boldo,
- Abstract要約: トークンの埋め込みを確率分布として表現することで、より柔軟な文脈推論が可能になる。
確率埋め込みは、近隣の一貫性を改善し、冗長性を減少させる。
確率埋め込みは、堅牢性に基づく評価シナリオの下でもコンテキスト整合性を維持する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Representing token embeddings as probability distributions over learned manifolds allows for more flexible contextual inference, reducing representational rigidity while enhancing semantic granularity. Comparative evaluations demonstrate that probabilistic embeddings improve neighborhood consistency and decrease redundancy, ensuring that token relationships remain more structurally coherent across fine-tuning iterations. The integration of probabilistic subspaces within attention mechanisms facilitates more adaptive contextual weighting, enabling models to capture latent dependencies that would otherwise be obscured in conventional embeddings. Experimental results highlight increased robustness against adversarial modifications, with probabilistic embeddings preserving contextual integrity even under perturbation-based evaluation scenarios. Performance assessments indicate that probabilistic representations achieve greater adaptability in domain-specific applications, mitigating the need for extensive retraining when shifting across linguistic domains. Computational trade-offs remain within operationally feasible limits, with marginal increases in inference latency balanced against the benefits of enhanced representation stability and contextual expressiveness. The capacity to encode structured uncertainty provides advantages in generative modeling tasks, particularly where maintaining coherence across extended sequences requires a representation framework capable of handling ambiguous or context-dependent linguistic constructs.
- Abstract（参考訳）: 学習多様体上の確率分布としてトークン埋め込みを表現することにより、より柔軟な文脈推論が可能となり、意味的粒度を高めながら表現の剛性を低減することができる。
比較評価により、確率的埋め込みは近傍の整合性を改善し、冗長性を低減し、トークンの関係が微調整の繰り返しを通してより構造的に整合性を保つことが示されている。
注意機構内の確率的部分空間の統合により、より適応的な文脈重み付けが促進され、モデルが従来の埋め込みで隠蔽される潜伏依存性をキャプチャできる。
実験結果から,摂動に基づく評価シナリオにおいても,文脈整合性を保つ確率論的埋め込みにより,対向的修正に対する堅牢性の向上が示された。
性能評価は、確率的表現がドメイン固有のアプリケーションにおいて適応性を高めることを示し、言語領域をまたぐ場合の広範な再訓練の必要性を軽減している。
計算的トレードオフは操作的に実現可能な限界内に留まり、推論遅延の限界的な増加は、表現安定性の強化と文脈表現性の利点とのバランスを保っている。
構造的不確実性を符号化する能力は、生成的モデリングタスクにおいて利点をもたらし、特に、拡張シーケンス間のコヒーレンスを維持するには、あいまいまたは文脈に依存した言語構造を扱うことができる表現フレームワークが必要である。
関連論文リスト
- Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation [0.0]
提案手法は,単語表現が位相的整合性に従属する確率関数空間を構築する。
確率制約は、文脈関係を洗練することによって語彙コヒーレンスを高め、複数の言語分布における意味的安定性を改善する。
計算効率の評価では、表現は小さな処理オーバーヘッドをもたらすが、構造化された表現学習アプローチは実用的展開にはスケーラブルである。
論文 参考訳（メタデータ） (2025-02-14T08:47:10Z) - Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions [0.0]
埋め込み遷移は、推論中にトークン表現を動的に調整する確率的メカニズムを導入する。
各トークンの埋め込みは確率的更新によって進化する移行フレームワークが提案された。
経験的評価では、語彙の多様性が向上し、生成コヒーレンスが向上し、低頻度語彙の保持が向上した。
論文 参考訳（メタデータ） (2025-02-08T12:53:52Z) - Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。
コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。
実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
論文 参考訳（メタデータ） (2025-02-06T04:01:27Z) - Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。
LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。
評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
論文 参考訳（メタデータ） (2025-02-03T23:18:53Z) - Contextual Morphogenesis in Large Language Models: A Novel Approach to Self-Organizing Token Representations [0.0]
文脈形態形成は、学習された文脈依存に基づいてトークン境界を再構成する自己組織化機構を確立する。
経験的評価は、動的に調整されたトークン化が表現安定性を維持しながら複雑度を低下させることを示す。
異なる言語コーパス間の比較評価は、適応的トークン化は解釈可能性を維持しつつ、文脈的手がかりとの整合性を改善することを示唆している。
構造安定性の精製と予測性能における文脈形態形成の有効性は、従来のトークン化法に代わるものとしての生存性を強調している。
論文 参考訳（メタデータ） (2025-02-01T03:50:46Z) - Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。
我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。
分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-12T00:37:53Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。
本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T09:13:11Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Rationale-Augmented Ensembles in Language Models [53.45015291520658]
我々は、数発のテキスト内学習のための合理化促進策を再考する。
我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。
有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-07-02T06:20:57Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。