論文の概要: Is Importance Weighting Incompatible with Interpolating Classifiers?

• arxiv url: http://arxiv.org/abs/2112.12986v1
• Date: Fri, 24 Dec 2021 08:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-29 15:09:13.726391
• Title: Is Importance Weighting Incompatible with Interpolating Classifiers?
• Title（参考訳）: 重要度重み付けは補間分類器と相容れないか?
• Authors: Ke Alexander Wang, Niladri S. Chatterji, Saminul Haque, Tatsunori Hashimoto
• Abstract要約: 重み付けは,ロジスティック損失やクロスエントロピー損失などの指数関数的な損失によって失敗することを示す。 治療として,重み付けされた損失が重み付けの効果を回復することを示す。 驚くべきことに、我々の理論は、古典的不偏重を指数化することによって得られる重みを用いることで、性能が向上することを示している。
• 参考スコア（独自算出の注目度）: 13.449501940517699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Importance weighting is a classic technique to handle distribution shifts. However, prior work has presented strong empirical and theoretical evidence demonstrating that importance weights can have little to no effect on overparameterized neural networks. Is importance weighting truly incompatible with the training of overparameterized neural networks? Our paper answers this in the negative. We show that importance weighting fails not because of the overparameterization, but instead, as a result of using exponentially-tailed losses like the logistic or cross-entropy loss. As a remedy, we show that polynomially-tailed losses restore the effects of importance reweighting in correcting distribution shift in overparameterized models. We characterize the behavior of gradient descent on importance weighted polynomially-tailed losses with overparameterized linear models, and theoretically demonstrate the advantage of using polynomially-tailed losses in a label shift setting. Surprisingly, our theory shows that using weights that are obtained by exponentiating the classical unbiased importance weights can improve performance. Finally, we demonstrate the practical value of our analysis with neural network experiments on a subpopulation shift and a label shift dataset. When reweighted, our loss function can outperform reweighted cross-entropy by as much as 9% in test accuracy. Our loss function also gives test accuracies comparable to, or even exceeding, well-tuned state-of-the-art methods for correcting distribution shifts.
• Abstract（参考訳）: 重み付けは分散シフトを扱う古典的なテクニックである。 しかし、以前の研究は、重み付けの重要性が過小パラメータ化されたニューラルネットワークにほとんど影響しないことを示す強力な経験的、理論的証拠を示している。 重み付けは過パラメータニューラルネットワークのトレーニングと真に相容れないのか? 私たちの論文はこれを否定的に答える。 重み付けは過剰パラメータ化のためではなく、ロジスティック損失やクロスエントロピー損失のような指数関数的に重み付けされた損失を使用することによって失敗する。 その結果,過剰パラメータモデルの分布変化の補正において,多項式付き損失が重要度重み付けの効果を回復することが示された。 過パラメータ線形モデルによる重み付き多項式尾損失に対する勾配勾配の挙動を特徴付けるとともに,ラベルシフト設定における多項式尾損失の利点を理論的に示す。 驚くべきことに、我々の理論は古典的不偏重を指数化することによって得られる重みを用いることで性能が向上することを示している。 最後に,亜集団シフトとラベルシフトデータセットを用いたニューラルネットワーク実験により,本解析の実用的価値を示す。 再加重すると、損失関数はテスト精度の最大9%で再加重クロスエントロピーより優れる。 損失関数はまた、分布シフトを補正するための、よく調整された最先端の方法に匹敵する、あるいは超えているテストアキュラティシーを与えます。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Imbalanced Nodes Classification for Graph Neural Networks Based on Valuable Sample Mining [9.156427521259195]
  不均衡問題に対する従来のアルゴリズムレベルのアプローチに基づいて、新たな損失関数FD-Lossを再構成する。 我々の損失関数は、ノード分類タスクの既存の手法と比較して、サンプルノードの不均衡を効果的に解決し、分類精度を4%向上させることができる。
  論文  参考訳（メタデータ） (2022-09-18T09:22:32Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network [8.79431718760617]
  ミニバッチSGDとウェイト崩壊によるトレーニングは、ウェイト行列のランク最小化へのバイアスを引き起こす。 このバイアスは、より小さなバッチサイズ、より高い学習率、より強いウェイト崩壊によってより顕著になる。 このバイアスと一般化の関係を実証的に検討し、テスト性能に限界効果があることを見出した。
  論文  参考訳（メタデータ） (2022-06-12T17:06:35Z)
• Understanding Square Loss in Training Overparametrized Neural Network Classifiers [31.319145959402462]
  過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。 クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。 結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
  論文  参考訳（メタデータ） (2021-12-07T12:12:30Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• The Golden Ratio of Learning and Momentum [0.5076419064097732]
  本稿では,シナプスにおけるニューラル信号処理による情報理論的損失関数を提案する。 すべての結果は、損失、学習率、モーメントが密接に関連していることを示している。
  論文  参考訳（メタデータ） (2020-06-08T17:08:13Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。