論文の概要: Uncertainty-driven Embedding Convolution

• arxiv url: http://arxiv.org/abs/2507.20718v1
• Date: Mon, 28 Jul 2025 11:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.090029
• Title: Uncertainty-driven Embedding Convolution
• Title（参考訳）: 不確実性駆動型埋め込み畳み込み
• Authors: Sungjun Lim, Kangjun Noh, Youngjun Choi, Heeyoung Lee, Kyungwoo Song,
• Abstract要約: 不確実性駆動型埋め込み畳み込み(UEC)を提案する。 UECは決定論的埋め込みをポストホックな方法で確率論的に変換する。 その後、サロゲート損失の下でベイズ最適解に接地した埋め込み不確実性に基づいて適応アンサンブル重みを計算する。
• 参考スコア（独自算出の注目度）: 12.284127272660982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text embeddings are essential components in modern NLP pipelines. While numerous embedding models have been proposed, their performance varies across domains, and no single model consistently excels across all tasks. This variability motivates the use of ensemble techniques to combine complementary strengths. However, most existing ensemble methods operate on deterministic embeddings and fail to account for model-specific uncertainty, limiting their robustness and reliability in downstream applications. To address these limitations, we propose Uncertainty-driven Embedding Convolution (UEC). UEC first transforms deterministic embeddings into probabilistic ones in a post-hoc manner. It then computes adaptive ensemble weights based on embedding uncertainty, grounded in a Bayes-optimal solution under a surrogate loss. Additionally, UEC introduces an uncertainty-aware similarity function that directly incorporates uncertainty into similarity scoring. Extensive experiments on retrieval, classification, and semantic similarity benchmarks demonstrate that UEC consistently improves both performance and robustness by leveraging principled uncertainty modeling.
• Abstract（参考訳）: テキスト埋め込みは、現代のNLPパイプラインにおいて必須のコンポーネントである。 多くの埋め込みモデルが提案されているが、その性能はドメインによって異なり、すべてのタスクに一貫した単一のモデルはない。 この可変性は、相補的な強みを組み合わせるためのアンサンブル技法の使用を動機付けている。 しかし、既存のアンサンブル法の多くは決定論的埋め込みで動作しており、モデル固有の不確実性を考慮しておらず、下流アプリケーションにおける堅牢性と信頼性を制限している。 これらの制約に対処するため、不確実性駆動型埋め込み畳み込み(UEC)を提案する。 UECはまず、決定論的埋め込みをポストホックな方法で確率論的に変換する。 その後、サロゲート損失の下でベイズ最適解に接地した埋め込み不確実性に基づいて適応アンサンブル重みを計算する。 さらに、UECは不確実性を考慮した類似度関数を導入し、不確実性を直接類似度スコアに組み込む。 検索,分類,セマンティック類似性ベンチマークに関する大規模な実験により,UCCは原則的不確実性モデリングを活用することにより,性能と堅牢性の両方を一貫して改善することを示した。

関連論文リスト

• Inv-Entropy: A Fully Probabilistic Framework for Uncertainty Quantification in Language Models [5.6672926445919165]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、信頼性の高いデプロイメントには有効な不確実性定量化(UQ)が必要である。 既存のUQメソッドは多くの場合、確率論的基盤を欠いている。 本稿では, 与えられた出力に条件付き入力空間の多様性を評価することによって不確実性を定量的に評価する, 逆モデルに基づく完全確率的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-11T13:02:17Z)
• Robust and Computation-Aware Gaussian Processes [18.264598332579748]
  本稿では,近似による不確実性の原理的処理と強一般化ベイズ更新を組み合わせた新しいGPモデルであるRobust Computation-Aware Gaussian Process (RCaGP)を紹介する。 私たちのモデルは、より保守的で信頼性の高い不確実性評価を確実にします。 実験の結果、これらの課題を共同で解決することで、クリーンな設定とアウターな設定の両方で優れたパフォーマンスが得られることが確認された。
  論文  参考訳（メタデータ） (2025-05-27T12:49:14Z)
• Robust Confinement State Classification with Uncertainty Quantification through Ensembled Data-Driven Methods [39.27649013012046]
  本研究では,不確実性定量化とモデルロバスト性を考慮した閉じ込め状態分類法を開発した。 我々は,TV放電のオフライン解析に焦点をあて,Lモード,Hモード,および中間ディザリング位相(D)を区別する。 302TCV放電のデータセットは完全にラベル付けされ、一般公開される。
  論文  参考訳（メタデータ） (2025-02-24T18:25:22Z)
• Distilling Calibration via Conformalized Credal Inference [36.01369881486141]
  信頼性を高める方法の1つは、ベイズ推定による不確実な定量化である。 本稿では,より複雑なモデルからキャリブレーション情報を抽出することにより,この問題に対処する低複雑さ手法を提案する。 視覚的および言語的タスクの実験により,提案手法はCD-CI (Conformalized Distillation for Credal Inference) と呼ばれ,校正性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-01-10T15:57:23Z)
• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
  コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。 非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。 この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-25T20:02:51Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Flexible and Robust Counterfactual Explanations with Minimal Satisfiable Perturbations [56.941276017696076]
  我々は、最小満足度摂動(CEMSP)を用いた対実的説明法という概念的に単純だが効果的な解を提案する。 CEMSPは、意味論的に意味のある正常範囲の助けを借りて、異常な特徴の値を変更することを制限している。 既存の手法と比較して、我々は合成データセットと実世界のデータセットの両方で包括的な実験を行い、柔軟性を維持しつつ、より堅牢な説明を提供することを示した。
  論文  参考訳（メタデータ） (2023-09-09T04:05:56Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。