論文の概要: On the Bayes Inconsistency of Disagreement Discrepancy Surrogates

• arxiv url: http://arxiv.org/abs/2512.05931v1
• Date: Fri, 05 Dec 2025 18:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:57.131901
• Title: On the Bayes Inconsistency of Disagreement Discrepancy Surrogates
• Title（参考訳）: 異方性サロゲートのベイズ不整合性について
• Authors: Neil G. Marchant, Andrew C. Cullen, Feng Liu, Sarah M. Erfani,
• Abstract要約: ディープニューラルネットワークは、分散シフトによって現実のコンテキストにデプロイされると失敗することが多い。 不一致に対する既存のサロゲートがベイズに一貫性がないことを示す。 我々は,クロスエントロピーと組み合わせることで,不一致の相違を確実に一貫したサロゲートが得られる新しい相違損失を提案する。
• 参考スコア（独自算出の注目度）: 14.483267669561856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often fail when deployed in real-world contexts due to distribution shift, a critical barrier to building safe and reliable systems. An emerging approach to address this problem relies on \emph{disagreement discrepancy} -- a measure of how the disagreement between two models changes under a shifting distribution. The process of maximizing this measure has seen applications in bounding error under shifts, testing for harmful shifts, and training more robust models. However, this optimization involves the non-differentiable zero-one loss, necessitating the use of practical surrogate losses. We prove that existing surrogates for disagreement discrepancy are not Bayes consistent, revealing a fundamental flaw: maximizing these surrogates can fail to maximize the true disagreement discrepancy. To address this, we introduce new theoretical results providing both upper and lower bounds on the optimality gap for such surrogates. Guided by this theory, we propose a novel disagreement loss that, when paired with cross-entropy, yields a provably consistent surrogate for disagreement discrepancy. Empirical evaluations across diverse benchmarks demonstrate that our method provides more accurate and robust estimates of disagreement discrepancy than existing approaches, particularly under challenging adversarial conditions.
• Abstract（参考訳）: ディープニューラルネットワークは、安全な信頼性のあるシステムを構築する上で重要な障壁である分散シフトによって、現実世界のコンテキストにデプロイされた時に失敗することが多い。 この問題に対処する新たなアプローチは、シフト分布の下での2つのモデル間の不一致がどのように変化するかの尺度である 'emph{disagreement discrepancy} に依存する。 この測度を最大化するプロセスは、シフトの下での境界誤差、有害なシフトのテスト、より堅牢なモデルのトレーニングに応用されている。 しかし、この最適化には微分不可能なゼロ1損失が伴い、実用的なサロゲート損失を使用する必要がある。 我々は、相反する相反する相反する既存の相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反する相反を最大化することは、相反する相反する相反する相反する相反する相反する相反する相反を最大化するのに失敗する。 そこで本研究では,これらのサロゲートの最適性ギャップについて,上界と下界の双方に新たな理論的結果を導入する。 この理論に導かれ、クロスエントロピーと組み合わせることで、不一致の相違を証明可能な一貫したサロゲートが得られるような、新しい相反損失を提案する。 多様なベンチマークを用いた実証評価により,提案手法は既存手法よりも精度が高く頑健な不一致推定を行うことを示した。

関連論文リスト

• The Value of Variance: Mitigating Debate Collapse in Multi-Agent Systems via Uncertainty-Driven Policy Optimization [11.251743031610646]
  マルチエージェント討論(MAD)システムは反復的な議論を通じて推論を改善するが、議論の崩壊には弱いままである。 既存の方法には、そのような障害を検知または防止するための原則的なメカニズムが欠如している。 本稿では,エージェント内(個人的推論の不確実性),エージェント間(対話的不確実性),システムレベル(出力不確実性)の3つのレベルにおいて,行動の不確実性を測定する階層的尺度を提案する。
  論文  参考訳（メタデータ） (2026-02-06T20:41:49Z)
• Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss [91.61796429377041]
  ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。 本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを考察し,それらの勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。 本研究は,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスとして,原則的基礎を確立した。
  論文  参考訳（メタデータ） (2026-01-30T09:24:52Z)
• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off [11.836020809561383]
  敵の訓練は、しばしばロバストネスのトレードオフに悩まされ、高いロバストネスを達成することは精度の犠牲となる。 非対称表現正規化逆行訓練(ARAT)を提案する。 ARATは、非対称な不斉損失と停止段階の演算と予測器を組み込み、勾配の衝突を回避し、混合分布問題を解決するためにスプリット・バッチノーム(BN)構造を組み込む。
  論文  参考訳（メタデータ） (2024-02-22T15:53:46Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification [4.750521042508541]
  深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。 トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。 提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:25:12Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。