論文の概要: MiMu: Mitigating Multiple Shortcut Learning Behavior of Transformers

• arxiv url: http://arxiv.org/abs/2504.10551v1
• Date: Mon, 14 Apr 2025 08:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:30.563414
• Title: MiMu: Mitigating Multiple Shortcut Learning Behavior of Transformers
• Title（参考訳）: MiMu: トランスの複数ショートカット学習行動の緩和
• Authors: Lili Zhao, Qi Liu, Wei Chen, Liyi Chen, Ruijun Sun, Min Hou, Yang Wang, Shijin Wang,
• Abstract要約: 経験的リスク最小化(ERM: Empirical Risk Minimization)モデルは、学習プロセス中に特徴とラベルの間の素早い相関に依存することが多い。 我々は,複数のショートカット学習行動を緩和するために,トランスフォーマーに基づく一般化と統合された新しい手法であるMiMuを提案する。
• 参考スコア（独自算出の注目度）: 19.27328009299697
• License:
• Abstract: Empirical Risk Minimization (ERM) models often rely on spurious correlations between features and labels during the learning process, leading to shortcut learning behavior that undermines robustness generalization performance. Current research mainly targets identifying or mitigating a single shortcut; however, in real-world scenarios, cues within the data are diverse and unknown. In empirical studies, we reveal that the models rely to varying extents on different shortcuts. Compared to weak shortcuts, models depend more heavily on strong shortcuts, resulting in their poor generalization ability. To address these challenges, we propose MiMu, a novel method integrated with Transformer-based ERMs designed to Mitigate Multiple shortcut learning behavior, which incorporates self-calibration strategy and self-improvement strategy. In the source model, we preliminarily propose the self-calibration strategy to prevent the model from relying on shortcuts and make overconfident predictions. Then, we further design self-improvement strategy in target model to reduce the reliance on multiple shortcuts. The random mask strategy involves randomly masking partial attention positions to diversify the focus of target model other than concentrating on a fixed region. Meanwhile, the adaptive attention alignment module facilitates the alignment of attention weights to the calibrated source model, without the need for post-hoc attention maps or supervision. Finally, extensive experiments conducted on Natural Language Processing (NLP) and Computer Vision (CV) demonstrate the effectiveness of MiMu in improving robustness generalization abilities.
• Abstract（参考訳）: 経験的リスク最小化(ERM: Empirical Risk Minimization)モデルは、学習過程における特徴とラベルの間の素早い相関にしばしば依存し、堅牢性一般化性能を損なう学習行動のショートカットにつながる。 現在の研究は主に1つのショートカットを識別または緩和することを目的としているが、現実のシナリオでは、データ内のキューは多様で未知である。 実証実験では、モデルが異なるショートカットに様々な範囲に依存することが明らかとなった。 弱いショートカットと比較すると、モデルは強いショートカットに強く依存しており、その結果一般化能力は劣る。 これらの課題に対処するため,我々は,自己校正戦略と自己改善戦略を取り入れた,複数のショートカット学習行動を緩和するトランスフォーマーベースのEMMを統合した新しい手法であるMiMuを提案する。 ソースモデルでは,モデルがショートカットに頼らず,自信過剰な予測を行うのを防ぐための自己校正戦略を予備的に提案する。 そして、複数のショートカットへの依存を減らすために、ターゲットモデルにおける自己改善戦略をさらに設計する。 ランダムマスク戦略は、固定領域に集中する以外のターゲットモデルの焦点を多様化するために、部分的注意位置をランダムにマスキングする。 一方、アダプティブアライメントアライメントモジュールは、アダプティブアライメントマップや監視を必要とせずに、アダプティブアライメントアライメントされたソースモデルへのアライメントを容易にする。 最後に,NLP(Natural Language Processing)とCV(Computer Vision)に関する広範な実験により,堅牢性一般化能力の向上におけるMiMuの有効性が示された。

関連論文リスト

• PB-UAP: Hybrid Universal Adversarial Attack For Image Segmentation [15.702469692874816]
  セグメンテーションモデル用に設計された新しいユニバーサル逆攻撃法を提案する。 提案手法は,最先端の手法よりも高い攻撃成功率を達成し,異なるモデル間で強い伝達性を示す。
  論文  参考訳（メタデータ） (2024-12-21T14:46:01Z)
• Enhancing Multiple Dimensions of Trustworthiness in LLMs via Sparse Activation Control [44.326363467045496]
  大規模言語モデル(LLM)は、ヒューマンフィードバック(RLHF)からの強化学習において重要な研究領域となっている。 表現工学は、新しい、トレーニングなしのアプローチを提供する。 この手法は意味的特徴を利用してLLMの中間隠れ状態の表現を制御する。 正直さや安全性などの様々な意味内容を特異な意味的特徴に符号化することは困難である。
  論文  参考訳（メタデータ） (2024-11-04T08:36:03Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Ensemble Making Few-Shot Learning Stronger [4.17701749612924]
  本稿では,差分低減のためのアンサンブル手法について検討し,関係レベルの特徴をキャリブレーションするための微調整と特徴的注意戦略を提案する。 数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-05-12T17:11:10Z)
• A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack and Learning [122.49765136434353]
  本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。 また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。 いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
  論文  参考訳（メタデータ） (2020-10-15T16:07:26Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。