論文の概要: Generalized Data Weighting via Class-level Gradient Manipulation

• arxiv url: http://arxiv.org/abs/2111.00056v1
• Date: Fri, 29 Oct 2021 19:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 14:26:22.317315
• Title: Generalized Data Weighting via Class-level Gradient Manipulation
• Title（参考訳）: クラスレベル勾配操作による一般化データ重み付け
• Authors: Can Chen, Shuhao Zheng, Xi Chen, Erqun Dong, Xue Liu, Hao Liu, Dejing Dou
• Abstract要約: ラベルノイズとクラス不均衡を同時に緩和する汎用データ重み付け(GDW)を提案する。 GDWはクラスレベルで勾配を演算し、両方の問題において顕著なパフォーマンス改善を実現する。
• 参考スコア（独自算出の注目度）: 30.171950025952082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label noise and class imbalance are two major issues coexisting in real-world datasets. To alleviate the two issues, state-of-the-art methods reweight each instance by leveraging a small amount of clean and unbiased data. Yet, these methods overlook class-level information within each instance, which can be further utilized to improve performance. To this end, in this paper, we propose Generalized Data Weighting (GDW) to simultaneously mitigate label noise and class imbalance by manipulating gradients at the class level. To be specific, GDW unrolls the loss gradient to class-level gradients by the chain rule and reweights the flow of each gradient separately. In this way, GDW achieves remarkable performance improvement on both issues. Aside from the performance gain, GDW efficiently obtains class-level weights without introducing any extra computational cost compared with instance weighting methods. Specifically, GDW performs a gradient descent step on class-level weights, which only relies on intermediate gradients. Extensive experiments in various settings verify the effectiveness of GDW. For example, GDW outperforms state-of-the-art methods by $2.56\%$ under the $60\%$ uniform noise setting in CIFAR10. Our code is available at https://github.com/GGchen1997/GDW-NIPS2021.
• Abstract（参考訳）: ラベルノイズとクラス不均衡は、現実世界のデータセットに共存する2つの大きな問題である。 2つの問題を緩和するために、最先端のメソッドは、少量のクリーンで偏りのないデータを活用することで、各インスタンスを再重み付けする。 しかし、これらのメソッドは各インスタンス内のクラスレベルの情報を見落とし、パフォーマンスを向上させるためにさらに活用することができる。 そこで本稿では,クラスレベルの勾配を操作することで,ラベルノイズとクラス不均衡を同時に緩和する汎用データ重み付け(GDW)を提案する。 具体的には、GDWはチェーンルールによってクラスレベルの勾配に損失勾配をアンロールし、各勾配の流れを個別に重み付けする。 このようにして、GDWは両方の問題において顕著なパフォーマンス改善を実現します。 性能向上の他に、gdwはインスタンス重み付け法と比較して計算コストを増すことなく、効率的にクラスレベルの重み付けを得る。 特に、gdwは、中間勾配のみに依存するクラスレベルの重み付けに対して勾配降下ステップを実行する。 各種実験によりgdwの有効性が検証された。 例えば、GDW は CIFAR10 の均一ノイズ設定において、最先端の手法を 2.56 %$ で上回る。 私たちのコードはhttps://github.com/GGchen1997/GDW-NIPS2021で公開されています。

関連論文リスト

• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• IG2: Integrated Gradient on Iterative Gradient Path for Feature Attribution [6.278326325782819]
  反復勾配経路統合勾配(IG2)はディープニューラルネットワークの顕著な経路帰属法である。 IG2は逆ファクト勾配を反復的に積分経路に組み込み、新しい経路(GradPath)と新しいベースライン(GradCF)を生成する XAIベンチマーク、ImageNet、MNIST、TRECの質問に対する回答、ウェハマップの失敗パターン、CelebAの顔属性の実験的結果は、IG2が優れた特徴属性を提供することを示す。
  論文  参考訳（メタデータ） (2024-06-16T08:48:03Z)
• Pairwise Alignment Improves Graph Domain Adaptation [16.626928606474173]
  この研究は、グラフデータ上の分散シフトのユニークな複雑さに対処するために、グラフドメイン適応(GDA)に注力する。 本稿では,グラフ構造変化に対応する新しい理論的手法であるペアワイズアライメント(ペアワイズアライメント)を提案する。 提案手法は,ソーシャルネットワークの領域シフトを伴うノード分類を含む実世界のアプリケーションにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-02T04:31:28Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• IGLU: Efficient GCN Training via Lazy Updates [17.24386142849498]
  グラフ畳み込みネットワーク(GCN)は、大きな基盤となるグラフと複数のレイヤを含む多くの設定で使用されている。 標準SGDベースのトレーニングは、グラフの大部分のノード埋め込みを更新する各降下ステップが終わるため、ここでは不十分である。 各種GCN層における全ノードに対するフォワードパス埋め込みをキャッシュする新しいIGLU法を提案する。
  論文  参考訳（メタデータ） (2021-09-28T19:11:00Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。