論文の概要: A Conformal Risk Control Framework for Granular Word Assessment and Uncertainty Calibration of CLIPScore Quality Estimates
- arxiv url: http://arxiv.org/abs/2504.01225v1
- Date: Tue, 01 Apr 2025 22:25:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 19:59:19.188619
- Title: A Conformal Risk Control Framework for Granular Word Assessment and Uncertainty Calibration of CLIPScore Quality Estimates
- Title（参考訳）: CLIPScore品質評価の粒度評価と不確かさ校正のためのコンフォーマルリスク制御フレームワーク
- Authors: Gonçalo Gomes, Chrysoula Zerva, Bruno Martins,
- Abstract要約: 本稿では,CLIPScore分布の生成と校正のための簡易かつ効果的な戦略を提案する。
提案手法は,所望のリスクレベルに適合した形式的保証を提供しながら,単語の一致を効果的に検出する。
- 参考スコア（独自算出の注目度）: 3.902360015414256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study explores current limitations of learned image captioning evaluation metrics, specifically the lack of granular assessment for individual word misalignments within captions, and the reliance on single-point quality estimates without considering uncertainty. To address these limitations, we propose a simple yet effective strategy for generating and calibrating CLIPScore distributions. Leveraging a model-agnostic conformal risk control framework, we calibrate CLIPScore values for task-specific control variables, to tackle the aforementioned two limitations. Experimental results demonstrate that using conformal risk control, over the distributions produced with simple methods such as input masking, can achieve competitive performance compared to more complex approaches. Our method effectively detects misaligned words, while providing formal guarantees aligned with desired risk levels, and improving the correlation between uncertainty estimations and prediction errors, thus enhancing the overall reliability of caption evaluation metrics.
- Abstract（参考訳）: 本研究は,学習画像キャプション評価指標の現在の限界,特にキャプション内の個々の単語の不一致に対する粒度評価の欠如,不確かさを考慮せずに単一点品質推定に依存することについて検討する。
これらの制約に対処するために,CLIPScore分布の生成と校正のための簡易かつ効果的な戦略を提案する。
モデルに依存しない共形リスク制御フレームワークを利用することで、タスク固有の制御変数に対してCLIPScore値を校正し、上記の2つの制限に対処する。
実験により,入力マスキングなどの単純な手法で生成した分布に対して共形リスク制御を用いることで,より複雑なアプローチと比較して競争性能が向上することを示した。
提案手法は,意図したリスクレベルに整合した形式的保証を提供し,不確実性推定と予測誤差の相関性を改善し,キャプション評価指標の総合的信頼性を向上させるとともに,単語の一致を効果的に検出する。
関連論文リスト
- Conformal Segmentation in Industrial Surface Defect Detection with Statistical Guarantees [2.0257616108612373]
工業環境では、鋼の表面欠陥はサービス寿命を著しく損なうことができ、潜在的な安全リスクを高めることができる。
従来の欠陥検出手法は主に手動検査に依存しており、これは低効率と高コストに悩まされている。
ユーザ定義のリスクレベルに基づいて統計的に厳密なしきい値を作成し、テスト画像の高確率欠陥画素を同定する。
種々のキャリブレーションとテストの比率で予測されるテストセット誤差率に対する頑健かつ効率的な制御を実証する。
論文 参考訳（メタデータ） (2025-04-24T16:33:56Z) - Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。
このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。
この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
論文 参考訳（メタデータ） (2025-04-24T15:39:46Z) - SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳（メタデータ） (2025-04-19T03:01:45Z) - Conditional Conformal Risk Adaptation [9.559062601251464]
セグメンテーションタスクの条件付きリスク制御を大幅に改善する適応予測セットを作成するための新しいスコア関数を開発する。
画素単位での包含推定の信頼性を高めるための特殊確率校正フレームワークを提案する。
ポリープセグメンテーション実験により, 3つの手法が有意な限界リスク制御を提供し, より一貫した条件リスク制御を実現することを示した。
論文 参考訳（メタデータ） (2025-04-10T10:01:06Z) - Risk-Calibrated Affective Speech Recognition via Conformal Coverage Guarantees: A Stochastic Calibrative Framework for Emergent Uncertainty Quantification [0.0]
極端なドライバーの感情から生じる交通安全上の課題は、信頼できる感情認識システムに対する緊急の必要性を浮き彫りにする。
音声の感情認識における従来のディープラーニングアプローチは、過度に適合し、不適格な信頼推定に苦しむ。
本稿では,Mel-spectrogram 機能を利用したコンフォーマル予測(CP)とリスク制御を統合したフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-24T12:26:28Z) - Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。
本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
論文 参考訳（メタデータ） (2025-02-22T19:54:14Z) - ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
自己整合性理論に基づく新しい不確実性尺度を導入する。
次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。
実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-06-29T17:33:07Z) - Decoupling of neural network calibration measures [45.70855737027571]
本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。
本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
論文 参考訳（メタデータ） (2024-06-04T15:21:37Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - B-BACN: Bayesian Boundary-Aware Convolutional Network for Crack
Characterization [4.447467536572625]
き裂検出の不確かさは, 測定ノイズ, 信号処理, モデルの単純化など, 様々な要因により困難である。
機械学習に基づくアプローチは、不確実性とアレタリック不確実性の両方を同時に定量化するために提案される。
本稿では,不確実性を考慮した境界修正を重視したBundary-Aware Convolutional Network(B-BACN)を提案する。
論文 参考訳（メタデータ） (2023-02-14T04:50:42Z) - Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。
我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
論文 参考訳（メタデータ） (2022-05-28T02:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。