論文の概要: Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models

• arxiv url: http://arxiv.org/abs/2502.06884v1
• Date: Sat, 08 Feb 2025 21:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:33.878612
• Title: Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models
• Title（参考訳）: 大規模言語と視覚言語モデルにおける適応的リスク管理のためのコンフォーマルな回避策の学習
• Authors: Sina Tayebati, Divake Kumar, Nastaran Darabi, Dinithi Jayasuriya, Ranganath Krishnan, Amit Ranjan Trivedi,
• Abstract要約: 大きな言語と視覚言語モデル(LLMs/VLMs)は、安全クリティカルなアプリケーションでますます使われている。 不確かさの定量化は、予測の信頼性を評価するのに役立ち、不確実性が高い場合の回避を可能にする。 本稿では,学習可能な禁忌法を提案し,強化学習(RL)と整形予測(CP)を統合して禁忌閾値を最適化する。
• 参考スコア（独自算出の注目度）: 3.958317527488534
• License:
• Abstract: Large Language and Vision-Language Models (LLMs/VLMs) are increasingly used in safety-critical applications, yet their opaque decision-making complicates risk assessment and reliability. Uncertainty quantification (UQ) helps assess prediction confidence and enables abstention when uncertainty is high. Conformal prediction (CP), a leading UQ method, provides statistical guarantees but relies on static thresholds, which fail to adapt to task complexity and evolving data distributions, leading to suboptimal trade-offs in accuracy, coverage, and informativeness. To address this, we propose learnable conformal abstention, integrating reinforcement learning (RL) with CP to optimize abstention thresholds dynamically. By treating CP thresholds as adaptive actions, our approach balances multiple objectives, minimizing prediction set size while maintaining reliable coverage. Extensive evaluations across diverse LLM/VLM benchmarks show our method outperforms Least Ambiguous Classifiers (LAC) and Adaptive Prediction Sets (APS), improving accuracy by up to 3.2%, boosting AUROC for hallucination detection by 22.19%, enhancing uncertainty-guided selective generation (AUARC) by 21.17%, and reducing calibration error by 70%-85%. These improvements hold across multiple models and datasets while consistently meeting the 90% coverage target, establishing our approach as a more effective and flexible solution for reliable decision-making in safety-critical applications. The code is available at: {https://github.com/sinatayebati/vlm-uncertainty}.
• Abstract（参考訳）: 大きな言語と視覚言語モデル(LLMs/VLMs)は、安全クリティカルなアプリケーションでますます使われているが、その不透明な決定はリスク評価と信頼性を複雑にしている。 不確実性定量化(UQ)は、予測信頼度を評価し、不確実性が高い場合の回避を可能にする。 コンフォーマル予測(CP)は、統計的な保証を提供するが、静的しきい値に依存しており、タスクの複雑さやデータ分布の進化に適応できず、精度、カバレッジ、情報性の亜最適トレードオフにつながる。 そこで本研究では、CPと強化学習(RL)を統合して、吸収閾値を動的に最適化することを提案する。 CP閾値を適応的行動として扱うことにより,提案手法は複数の目標のバランスを保ち,信頼性の高いカバレッジを維持しつつ予測セットのサイズを最小化する。 LLM/VLMベンチマークの大規模評価では,Last Ambiguous Classifiers (LAC) とAdaptive Prediction Sets (APS) が優れ,精度が3.2%向上し,幻覚検出のためのAUROCが22.19%向上し,不確実性誘導選択生成(AUARC)が21.17%向上し,キャリブレーション誤差が70%～85%低減した。 これらの改善は、安全クリティカルなアプリケーションにおける信頼性の高い意思決定のための、より効果的で柔軟なソリューションとして、90%のカバレッジ目標を一貫して満たしながら、複数のモデルやデータセットを横断的に保持します。 コードは以下の通り: {https://github.com/sinatayebati/vlm-uncertainty}。

関連論文リスト

• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Benchmarking Large Language Model Uncertainty for Prompt Optimization [4.151658495779136]
  本稿では,不確実性指標を評価するためのベンチマークデータセットを提案する。 現在のメトリクスは、正当性不確実性ではなく、出力の信頼性と多様性を反映したアンサー不確実性とより一致していることを示します。
  論文  参考訳（メタデータ） (2024-09-16T07:13:30Z)
• Confidence Estimation for LLM-Based Dialogue State Tracking [9.305763502526833]
  大規模言語モデル(LLM)に基づく会話型AIシステムでは,モデルの出力に対する信頼度の推定が重要である。 オープン・アンド・クローズド・ウェイト LLM に提案するアプローチを含む,手法の徹底的な探索を行う。 以上の結果から, 微調整式オープンウェイトLLMはAUC性能が向上し, 信頼性スコアの校正精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-15T06:44:26Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
  大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。 提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-18T03:34:59Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Locally Valid and Discriminative Confidence Intervals for Deep Learning Models [37.57296694423751]
  不確実性情報は有効(保証対象)で差別的(予想されるリスクが高い場合にさらに不確実)でなければならない 既存のベイジアン法の多くは、頻繁なカバレッジ保証がなく、通常モデルのパフォーマンスに影響を与える。 ほぼどんな深層学習モデルに対しても,識別的信頼区間(CI)を構築するための簡易かつ効率的かつ軽量な手法であるLVD(Locally Valid and Discriminative confidence intervals)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T04:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。