論文の概要: A Conformal Risk Control Framework for Granular Word Assessment and Uncertainty Calibration of CLIPScore Quality Estimates

• arxiv url: http://arxiv.org/abs/2504.01225v1
• Date: Tue, 01 Apr 2025 22:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:58.513623
• Title: A Conformal Risk Control Framework for Granular Word Assessment and Uncertainty Calibration of CLIPScore Quality Estimates
• Title（参考訳）: CLIPScore品質評価の粒度評価と不確かさ校正のためのコンフォーマルリスク制御フレームワーク
• Authors: Gonçalo Gomes, Chrysoula Zerva, Bruno Martins,
• Abstract要約: 本稿では,CLIPScore分布の生成と校正のための簡易かつ効果的な戦略を提案する。 提案手法は,所望のリスクレベルに適合した形式的保証を提供しながら,単語の一致を効果的に検出する。
• 参考スコア（独自算出の注目度）: 3.902360015414256
• License:
• Abstract: This study explores current limitations of learned image captioning evaluation metrics, specifically the lack of granular assessment for individual word misalignments within captions, and the reliance on single-point quality estimates without considering uncertainty. To address these limitations, we propose a simple yet effective strategy for generating and calibrating CLIPScore distributions. Leveraging a model-agnostic conformal risk control framework, we calibrate CLIPScore values for task-specific control variables, to tackle the aforementioned two limitations. Experimental results demonstrate that using conformal risk control, over the distributions produced with simple methods such as input masking, can achieve competitive performance compared to more complex approaches. Our method effectively detects misaligned words, while providing formal guarantees aligned with desired risk levels, and improving the correlation between uncertainty estimations and prediction errors, thus enhancing the overall reliability of caption evaluation metrics.
• Abstract（参考訳）: 本研究は,学習画像キャプション評価指標の現在の限界,特にキャプション内の個々の単語の不一致に対する粒度評価の欠如,不確かさを考慮せずに単一点品質推定に依存することについて検討する。 これらの制約に対処するために,CLIPScore分布の生成と校正のための簡易かつ効果的な戦略を提案する。 モデルに依存しない共形リスク制御フレームワークを利用することで、タスク固有の制御変数に対してCLIPScore値を校正し、上記の2つの制限に対処する。 実験により,入力マスキングなどの単純な手法で生成した分布に対して共形リスク制御を用いることで,より複雑なアプローチと比較して競争性能が向上することを示した。 提案手法は,意図したリスクレベルに整合した形式的保証を提供し,不確実性推定と予測誤差の相関性を改善し,キャプション評価指標の総合的信頼性を向上させるとともに,単語の一致を効果的に検出する。

関連論文リスト

• Robust Conformal Outlier Detection under Contaminated Reference Data [20.864605211132663]
  コンフォーマル予測は、機械学習予測を校正するための柔軟なフレームワークである。 異常値検出では、この校正はタイプIエラー率を制御するためにラベル付き不整値データの参照セットに依存する。 本稿では, 汚染がコンフォメーション法の有効性に与える影響を解析する。
  論文  参考訳（メタデータ） (2025-02-07T10:23:25Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Automatically Adaptive Conformal Risk Control [49.95190019041905]
  本稿では,テストサンプルの難易度に適応して,統計的リスクの近似的条件制御を実現する手法を提案する。 我々のフレームワークは、ユーザが提供するコンディショニングイベントに基づく従来のコンディショニングリスク制御を超えて、コンディショニングに適した関数クラスのアルゴリズム的、データ駆動決定を行う。
  論文  参考訳（メタデータ） (2024-06-25T08:29:32Z)
• Decoupling of neural network calibration measures [45.70855737027571]
  本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。 本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
  論文  参考訳（メタデータ） (2024-06-04T15:21:37Z)
• Distributionally Robust Policy and Lyapunov-Certificate Learning [13.38077406934971]
  不確実なシステムに対する安定性を保証するコントローラの設計における重要な課題は、オンラインデプロイメント中のモデルパラメトリック不確実性の変化の正確な決定と適応である。 我々は、リアプノフ証明書の単調な減少を保証するために、リアプノフ微分チャンス制約を分布的に頑健に定式化することで、この問題に取り組む。 得られた閉ループシステムに対して、その平衡のグローバルな安定性は、アウト・オブ・ディストリビューションの不確実性があっても高い信頼性で証明できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T18:57:54Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• B-BACN: Bayesian Boundary-Aware Convolutional Network for Crack Characterization [4.447467536572625]
  き裂検出の不確かさは, 測定ノイズ, 信号処理, モデルの単純化など, 様々な要因により困難である。 機械学習に基づくアプローチは、不確実性とアレタリック不確実性の両方を同時に定量化するために提案される。 本稿では,不確実性を考慮した境界修正を重視したBundary-Aware Convolutional Network(B-BACN)を提案する。
  論文  参考訳（メタデータ） (2023-02-14T04:50:42Z)
• Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
  実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。 我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
  論文  参考訳（メタデータ） (2022-05-28T02:59:05Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。