論文の概要: On the Bayes Inconsistency of Disagreement Discrepancy Surrogates

• arxiv url: http://arxiv.org/abs/2512.05931v1
• Date: Fri, 05 Dec 2025 18:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:57.131901
• Title: On the Bayes Inconsistency of Disagreement Discrepancy Surrogates
• Title（参考訳）: 異方性サロゲートのベイズ不整合性について
• Authors: Neil G. Marchant, Andrew C. Cullen, Feng Liu, Sarah M. Erfani,
• Abstract要約: ディープニューラルネットワークは、分散シフトによって現実のコンテキストにデプロイされると失敗することが多い。 不一致に対する既存のサロゲートがベイズに一貫性がないことを示す。 我々は,クロスエントロピーと組み合わせることで,不一致の相違を確実に一貫したサロゲートが得られる新しい相違損失を提案する。
• 参考スコア（独自算出の注目度）: 14.483267669561856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often fail when deployed in real-world contexts due to distribution shift, a critical barrier to building safe and reliable systems. An emerging approach to address this problem relies on \emph{disagreement discrepancy} -- a measure of how the disagreement between two models changes under a shifting distribution. The process of maximizing this measure has seen applications in bounding error under shifts, testing for harmful shifts, and training more robust models. However, this optimization involves the non-differentiable zero-one loss, necessitating the use of practical surrogate losses. We prove that existing surrogates for disagreement discrepancy are not Bayes consistent, revealing a fundamental flaw: maximizing these surrogates can fail to maximize the true disagreement discrepancy. To address this, we introduce new theoretical results providing both upper and lower bounds on the optimality gap for such surrogates. Guided by this theory, we propose a novel disagreement loss that, when paired with cross-entropy, yields a provably consistent surrogate for disagreement discrepancy. Empirical evaluations across diverse benchmarks demonstrate that our method provides more accurate and robust estimates of disagreement discrepancy than existing approaches, particularly under challenging adversarial conditions.
• Abstract（参考訳）: ディープニューラルネットワークは、安全な信頼性のあるシステムを構築する上で重要な障壁である分散シフトによって、現実世界のコンテキストにデプロイされた時に失敗することが多い。 この問題に対処する新たなアプローチは、シフト分布の下での2つのモデル間の不一致がどのように変化するかの尺度である 'emph{disagreement discrepancy} に依存する。 この測度を最大化するプロセスは、シフトの下での境界誤差、有害なシフトのテスト、より堅牢なモデルのトレーニングに応用されている。 しかし、この最適化には微分不可能なゼロ1損失が伴い、実用的なサロゲート損失を使用する必要がある。 我々は、相反する相反する相反する既存の相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反を最大化することは、相反する相反する相反する相反する相反する相反する相反する相反を最大化するのに失敗する。 そこで本研究では,これらのサロゲートの最適性ギャップについて,上界と下界の双方に新たな理論的結果を導入する。 この理論に導かれ、クロスエントロピーと組み合わせることで、不一致の相違を証明可能な一貫したサロゲートが得られるような、新しい相反損失を提案する。 多様なベンチマークを用いた実証評価により,提案手法は既存手法よりも精度が高く頑健な不一致推定を行うことを示した。

関連論文リスト

• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off [11.836020809561383]
  敵の訓練は、しばしばロバストネスのトレードオフに悩まされ、高いロバストネスを達成することは精度の犠牲となる。 非対称表現正規化逆行訓練(ARAT)を提案する。 ARATは、非対称な不斉損失と停止段階の演算と予測器を組み込み、勾配の衝突を回避し、混合分布問題を解決するためにスプリット・バッチノーム(BN)構造を組み込む。
  論文  参考訳（メタデータ） (2024-02-22T15:53:46Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification [4.750521042508541]
  深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。 トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。 提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:25:12Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。