論文の概要: Do regularization methods for shortcut mitigation work as intended?

• arxiv url: http://arxiv.org/abs/2503.17015v1
• Date: Fri, 21 Mar 2025 10:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:26.839885
• Title: Do regularization methods for shortcut mitigation work as intended?
• Title（参考訳）: ショートカット緩和作業の正規化手法は意図通りか?
• Authors: Haoyang Hong, Ioanna Papanikolaou, Sonali Parbhoo,
• Abstract要約: ショートカットの緩和は、一般化を改善する上で重要な課題である。 モデル一般化可能性を高めることでこの問題に対処する正規化手法が提案されている。 これらの手法は時として過度に規則化され、必然的に因果的特徴と突発的特徴を抑圧する可能性があることを実証する。
• 参考スコア（独自算出の注目度）: 2.789652596206117
• License:
• Abstract: Mitigating shortcuts, where models exploit spurious correlations in training data, remains a significant challenge for improving generalization. Regularization methods have been proposed to address this issue by enhancing model generalizability. However, we demonstrate that these methods can sometimes overregularize, inadvertently suppressing causal features along with spurious ones. In this work, we analyze the theoretical mechanisms by which regularization mitigates shortcuts and explore the limits of its effectiveness. Additionally, we identify the conditions under which regularization can successfully eliminate shortcuts without compromising causal features. Through experiments on synthetic and real-world datasets, our comprehensive analysis provides valuable insights into the strengths and limitations of regularization techniques for addressing shortcuts, offering guidance for developing more robust models.
• Abstract（参考訳）: モデルがトレーニングデータの急激な相関を利用するショートカットの緩和は、一般化を改善する上で重要な課題である。 モデル一般化可能性を高めることでこの問題に対処する正規化手法が提案されている。 しかし,これらの手法は時として過度に規則化され,必然的に因果的特徴と突発的特徴を抑制できることを示した。 本研究では,正規化がショートカットを緩和する理論機構を解析し,その有効性の限界について検討する。 さらに,正則化が因果的特徴を損なうことなくショートカットを効果的に除去できる条件を同定する。 合成および実世界のデータセットの実験を通じて、我々の包括的な分析は、ショートカットに対処するための正規化テクニックの強みと制限に関する貴重な洞察を提供し、より堅牢なモデルを開発するためのガイダンスを提供する。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Bridging Interpretability and Robustness Using LIME-Guided Model Refinement [0.0]
  LIME(Local Interpretable Model-Agnostic Explanations)は、モデルロバスト性を体系的に強化する。 複数のベンチマークデータセットに対する実証的な評価は、LIME誘導の洗練は解釈可能性を改善するだけでなく、敵の摂動に対する耐性を著しく向上し、アウト・オブ・ディストリビューションデータへの一般化を促進することを示している。
  論文  参考訳（メタデータ） (2024-12-25T17:32:45Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding [5.4480125359160265]
  本稿では,各専門家が比較的異なる潜伏特徴を捉えていると仮定して,実験結果の混合予測を悲観的に集約する手法を提案する。 実験結果から,専門家に対するポストホック制御は,ショートカットにおける分布シフトに対するモデルのロバスト性を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-17T20:00:04Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• Crafting Training Degradation Distribution for the Accuracy-Generalization Trade-off in Real-World Super-Resolution [53.0437282872811]
  そこで本研究では,少数の参照画像を用いたクラフトトレーニング劣化分布の新しい手法を提案する。 提案手法は,実世界のアプリケーションにおける一般化能力を保ちながら,テスト画像の性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-05-29T14:22:48Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Representation Learning via Invariant Causal Mechanisms [19.0976564154636]
  ラベルなしデータのみを用いて表現を事前学習することで、コストのかかる教師付き信号への依存を減らすための戦略として、自己教師付き学習が登場した。 プレトレーニング時に使用されるプロキシ分類器の明示的な不変性制約によって、データ拡張をより効果的に活用する方法を示す。 そこで本稿では,新たな自己教師型学習手法であるRepresentation Learning via In Causvariantal Mechanisms (Relic)を提案する。
  論文  参考訳（メタデータ） (2020-10-15T17:53:37Z)
• Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
  教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。 本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。 本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
  論文  参考訳（メタデータ） (2020-08-06T04:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。