論文の概要: What Paired Evaluations Reveal under Visual Perturbations

• arxiv url: http://arxiv.org/abs/2609.35583v1
• Date: Mon, 28 Sep 2026 16:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:35:53.641441
• Title: What Paired Evaluations Reveal under Visual Perturbations
• Title（参考訳）: 視覚的摂動下でのペアリング評価
• Abstract要約: ロバストネス評価は多様な視覚的摂動を検査する必要があるが、ベンチマークは実際の条件のみをカバーし、物理的なテストはコストがかかる。 この画像対応性は, 対評価結果の解釈と, 物理試験用サンプルの優先順位付けという, 強靭性評価の2つのニーズをサポートするかを検討した。
• 参考スコア（独自算出の注目度）: 13.133964855941576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robustness evaluation must examine diverse visual perturbations, while benchmarks cover only some real-world conditions and physical testing is costly. Paired evaluations link clean and perturbed predictions for the same image, capturing changes in correctness, confidence, and acceptance beyond aggregate accuracy. We investigate how this image correspondence supports two needs in robustness evaluation: interpreting paired evaluation results and prioritizing samples for physical testing. To interpret paired evaluation results, we fix both sets of prediction records and vary their correspondence within each class. We prove that classwise correct-correct counts give the same sharp bounds on lost acceptance and mean true-class probability decrease among retained-correct inputs as any feasible five-state refinement. Distinguishing persistent from changed wrong answers can further constrain accepted-error transitions, while shared correspondence can establish policy orderings left unresolved by separate cost intervals. To prioritize samples for physical testing, we retain each image's synthetic responses and rank clean-correct images by their mean true-class probability under corruption. Across 44 classifiers, testing the highest-risk 20% finds 67% and 45% of failures under mild screen and print recaptures, versus 58% and 36% for clean confidence and 60% and 37% for an equal-size natural-transformation average. With both probability averaging and an A3Rank scoring adaptation, the tested corruption set yields higher mean failure recall than the natural-transform set; differences between scores depend on the source and budget. Together, these findings show that the value of correspondence depends on the evaluation objective: classwise counts suffice for specified reliability bounds, while image-specific synthetic responses improve the allocation of physical tests within the evaluated pool.
• Abstract（参考訳）: ロバストネス評価は多様な視覚的摂動を検査する必要があるが、ベンチマークは実際の条件のみをカバーし、物理的なテストはコストがかかる。 ペア評価は、同じ画像に対するクリーンで摂動的な予測をリンクし、集計精度を超える正確性、自信、受け入れの変化をキャプチャする。 この画像対応性は, 対評価結果の解釈と, 物理試験用サンプルの優先順位付けという, 強靭性評価の2つのニーズをサポートするかを検討した。 ペア評価結果の解釈を行うため,予測レコードの両セットを固定し,各クラス間で対応性を変化させる。 クラスワイドの正誤カウントは、消失した受理と、保持された正誤入力の真クラス平均確率を、実現可能な5状態改善と同一のシャープな境界を与えることを証明した。 間違った回答から永続性を排除することは、受け入れエラー遷移をさらに制限し、共有対応は、別のコスト間隔で未解決のポリシー命令を確立することができる。 物理検査のためのサンプルを優先するために、各画像の合成応答とクリーンな補正画像を、汚職下での平均真クラス確率でランク付けする。 44の分類器で、最もリスクの高い20%のテストでは、画面とプリントの再キャプチャーで失敗の67%と45%、クリーンな信頼性では58%と36%、同じサイズの自然変換平均では60%と37%が失敗している。 確率平均化とA3Rankスコア適応の両方により、試験された汚職セットは、自然な変換セットよりも平均エラーリコール率が高く、スコアの差はソースと予算に依存する。 画像特異的な合成応答は評価プール内における物理試験の割り当てを改善する一方, 信頼性境界に対する満足度をクラスワイズでカウントする。

関連論文リスト

• Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
  定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。 合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-09-22T11:34:53Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• Empirical Bayes Conformal Prediction for Vision and Language Models [20.40115871314124]
  コンフォーマル予測(CP)は、現代のビジョンと言語モデルに対して、分布のないカバレッジを提供する。 標準CP は 1 つの実現法を使い、平均列キャリブレートの変種は点推定に滑らかな多重実現法を用いる。 実験的なベイズ共形予測フレームワークについて述べる。これは$r$-valuesを用いて、スコアの変動性を不確実な非整合性スコアに変換する。
  論文  参考訳（メタデータ） (2026-05-22T03:17:14Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• Counting with Confidence: Accurate Pest Monitoring in Water Traps [5.905721043072562]
  既存の視覚に基づく自動害虫計数研究の一般的な制限は、モデルが基底真理のデータセットに基づいて評価されるが、基底真理の欠如による計測結果の信頼性を評価することなく、現実のシナリオにデプロイされることである。 本稿では, 画像の信頼度を計測する害虫数を, 計測結果と外部環境条件に関する情報に基づいて総合的に評価する手法を提案する。 実験の結果,MSEを31.7%削減し,R2を15.2%改善した。
  論文  参考訳（メタデータ） (2025-05-19T18:01:58Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。