論文の概要: Large Learning Rates Simultaneously Achieve Robustness to Spurious Correlations and Compressibility

• arxiv url: http://arxiv.org/abs/2507.17748v2
• Date: Tue, 05 Aug 2025 15:46:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 15:23:34.681121
• Title: Large Learning Rates Simultaneously Achieve Robustness to Spurious Correlations and Compressibility
• Title（参考訳）: 突発的相関と圧縮性を同時に達成する大規模学習率
• Authors: Melih Barsbey, Lucas Prieto, Stefanos Zafeiriou, Tolga Birdal,
• Abstract要約: 高い学習率を高い相関性とネットワーク圧縮性を同時に達成するためのファシリテータとして同定する。 大規模な学習速度は、不変特徴利用、クラス分離、アクティベーション空間といった望ましい表現特性を生成する。 この現象のメカニズムを調査した結果,大きな学習率下での偏りを伴うサンプルの確実な誤予測の重要性が示唆された。
• 参考スコア（独自算出の注目度）: 46.171357375793235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness and resource-efficiency are two highly desirable properties for modern machine learning models. However, achieving them jointly remains a challenge. In this paper, we identify high learning rates as a facilitator for simultaneously achieving robustness to spurious correlations and network compressibility. We demonstrate that large learning rates also produce desirable representation properties such as invariant feature utilization, class separation, and activation sparsity. Our findings indicate that large learning rates compare favorably to other hyperparameters and regularization methods, in consistently satisfying these properties in tandem. In addition to demonstrating the positive effect of large learning rates across diverse spurious correlation datasets, models, and optimizers, we also present strong evidence that the previously documented success of large learning rates in standard classification tasks is related to addressing hidden/rare spurious correlations in the training dataset. Our investigation of the mechanisms underlying this phenomenon reveals the importance of confident mispredictions of bias-conflicting samples under large learning rates.
• Abstract（参考訳）: ロバスト性とリソース効率は、現代の機械学習モデルにとって非常に望ましい2つの特性である。 しかし、これらを共同で達成することは依然として課題である。 本稿では,高い学習率を高い相関性とネットワーク圧縮性を同時に達成するためのファシリテータとして同定する。 大規模な学習速度は、不変特徴利用、クラス分離、アクティベーション空間といった望ましい表現特性も生み出すことを示した。 以上の結果から,大きな学習速度は他のハイパーパラメータや正規化手法と良好に比較し,これらの特性を一貫したタンデムで満たすことが示唆された。 各種の素因的相関データセット,モデル,オプティマイザにまたがる大規模学習率の正の効果を示すことに加えて,従来報告されていた標準分類タスクにおける大規模学習率の成功が,トレーニングデータセットにおける隠れ/希少な素因的相関に対処していることを示す強力な証拠も提示する。 この現象のメカニズムを調査した結果,大きな学習率下での偏りを伴うサンプルの確実な誤予測の重要性が示唆された。

関連論文リスト

• Fairness and Robustness in Machine Unlearning [20.758637391023345]
  機械学習アルゴリズムにおける公平性と堅牢性に焦点を当てる。 実験では、現在の最先端の非学習アルゴリズムが敵攻撃に対する脆弱性を実証している。 中間層と最後の層でのアンラーニングが時間とメモリの複雑さに十分で費用対効果があることを実証する。
  論文  参考訳（メタデータ） (2025-04-18T10:31:44Z)
• Learning from Neighbors: Category Extrapolation for Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Explainability of Highly Associated Fuzzy Churn Patterns in Binary Classification [21.38368444137596]
  本研究では,多変量パターンの同定と,直観的解釈のためのソフト境界の設定の重要性を強調した。 主な目的は、機械学習モデルと、トップテキストのHUIMを用いたファジィセット理論を使用して、顧客の混乱の高度に関連付けられたパターンを特定することである。 その結果、顧客チャーン予測モデルの説明可能性と有効性を改善する革新的なアプローチが導入された。
  論文  参考訳（メタデータ） (2024-10-21T09:44:37Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Sharpness & Shift-Aware Self-Supervised Learning [17.978849280772092]
  自己教師付き学習は、より下流のタスクのためにラベルのないデータから意味のある特徴を抽出することを目的としている。 我々は、この分類タスクの一般的な損失に暗黙的に影響を及ぼす要因を実現するために厳密な理論を開発する。 我々は,我々の理論的な知見を検証し,鋭さとシフトアウェアなコントラスト学習が性能を著しく向上させることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-05-17T14:42:16Z)
• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering [71.15403434929915]
  視覚的質問応答のタスクにおいて、5つのモデルと4つのデータセットにまたがって、多種多様な能動的学習アプローチがランダム選択を上回りません。 アクティブな学習手法が好まれるが、モデルは学習に失敗する例の集まりである。 本研究では,アクティブ学習プールにおける集団外乱の減少に伴い,アクティブ学習サンプル効率が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-07-06T00:52:11Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。