論文の概要: Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.05346v1
• Date: Fri, 07 Feb 2025 21:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:33:06.599720
• Title: Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文脈推論のための確率的部分空間多様体
• Authors: Christopher Nightingale, Dominic Lavington, Jonathan Thistlethwaite, Sebastian Penhaligon, Thomas Belinski, David Boldo,
• Abstract要約: トークンの埋め込みを確率分布として表現することで、より柔軟な文脈推論が可能になる。 確率埋め込みは、近隣の一貫性を改善し、冗長性を減少させる。 確率埋め込みは、堅牢性に基づく評価シナリオの下でもコンテキスト整合性を維持する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Representing token embeddings as probability distributions over learned manifolds allows for more flexible contextual inference, reducing representational rigidity while enhancing semantic granularity. Comparative evaluations demonstrate that probabilistic embeddings improve neighborhood consistency and decrease redundancy, ensuring that token relationships remain more structurally coherent across fine-tuning iterations. The integration of probabilistic subspaces within attention mechanisms facilitates more adaptive contextual weighting, enabling models to capture latent dependencies that would otherwise be obscured in conventional embeddings. Experimental results highlight increased robustness against adversarial modifications, with probabilistic embeddings preserving contextual integrity even under perturbation-based evaluation scenarios. Performance assessments indicate that probabilistic representations achieve greater adaptability in domain-specific applications, mitigating the need for extensive retraining when shifting across linguistic domains. Computational trade-offs remain within operationally feasible limits, with marginal increases in inference latency balanced against the benefits of enhanced representation stability and contextual expressiveness. The capacity to encode structured uncertainty provides advantages in generative modeling tasks, particularly where maintaining coherence across extended sequences requires a representation framework capable of handling ambiguous or context-dependent linguistic constructs.
• Abstract（参考訳）: 学習多様体上の確率分布としてトークン埋め込みを表現することにより、より柔軟な文脈推論が可能となり、意味的粒度を高めながら表現の剛性を低減することができる。 比較評価により、確率的埋め込みは近傍の整合性を改善し、冗長性を低減し、トークンの関係が微調整の繰り返しを通してより構造的に整合性を保つことが示されている。 注意機構内の確率的部分空間の統合により、より適応的な文脈重み付けが促進され、モデルが従来の埋め込みで隠蔽される潜伏依存性をキャプチャできる。 実験結果から,摂動に基づく評価シナリオにおいても,文脈整合性を保つ確率論的埋め込みにより,対向的修正に対する堅牢性の向上が示された。 性能評価は、確率的表現がドメイン固有のアプリケーションにおいて適応性を高めることを示し、言語領域をまたぐ場合の広範な再訓練の必要性を軽減している。 計算的トレードオフは操作的に実現可能な限界内に留まり、推論遅延の限界的な増加は、表現安定性の強化と文脈表現性の利点とのバランスを保っている。 構造的不確実性を符号化する能力は、生成的モデリングタスクにおいて利点をもたらし、特に、拡張シーケンス間のコヒーレンスを維持するには、あいまいまたは文脈に依存した言語構造を扱うことができる表現フレームワークが必要である。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Probabilistic Constrained Reinforcement Learning with Formal Interpretability [2.990411348977783]
  本稿では,これらの解釈可能性問題に対処するために,適応ワッサースタイン変分最適化(AWaVO)を提案する。 提案手法は,コンバージェンス保証の解釈可能性,透明性の訓練,本質的な決定解釈を実現するために形式的手法を用いる。 TRPO-IPO, PCPO, CRPOといった最先端ベンチマークと比較して, AWaVOがハイパフォーマンスと十分な解釈可能性の間に合理的なトレードオフをもたらすことを実証的に検証する。
  論文  参考訳（メタデータ） (2023-07-13T22:52:22Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Rockafellian Relaxation and Stochastic Optimization under Perturbations [0.056247917037481096]
  我々は、ロカフェル緩和に基づく楽観的なフレームワークを開発し、最適化は元の決定空間だけでなく、モデルの選択と共同で行われる。 この枠組みは、厳密かつ厳密なロックフェリアンの新たな概念に焦点を合わせ、特定の設定で否定的な「正規化」の解釈が現れる。
  論文  参考訳（メタデータ） (2022-04-10T20:02:41Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。