論文の概要: Rethinking the Bias of Foundation Model under Long-tailed Distribution

• arxiv url: http://arxiv.org/abs/2501.15955v1
• Date: Mon, 27 Jan 2025 11:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 14:00:10.006017
• Title: Rethinking the Bias of Foundation Model under Long-tailed Distribution
• Title（参考訳）: 長期分布下における基礎モデルのバイアスの再考
• Authors: Jiahao Chen, Bin Qin, Jiangmeng Li, Hao Chen, Bing Su,
• Abstract要約: 下流タスクの基盤モデルで継承される不均衡バイアスはパラメータ不均衡とデータ不均衡である。 微調整中、パラメータの不均衡がより重要な役割を果たすのに対し、データ不均衡は既存の再バランス戦略によって緩和される。 本稿では,入力サンプルとラベル間の真の因果関係を学習する新しいバックドア調整手法を提案する。
• 参考スコア（独自算出の注目度）: 18.80942166783087
• License:
• Abstract: Long-tailed learning has garnered increasing attention due to its practical significance. Among the various approaches, the fine-tuning paradigm has gained considerable interest with the advent of foundation models. However, most existing methods primarily focus on leveraging knowledge from these models, overlooking the inherent biases introduced by the imbalanced training data they rely on. In this paper, we examine how such imbalances from pre-training affect long-tailed downstream tasks. Specifically, we find the imbalance biases inherited in foundation models on downstream task as parameter imbalance and data imbalance. During fine-tuning, we observe that parameter imbalance plays a more critical role, while data imbalance can be mitigated using existing re-balancing strategies. Moreover, we find that parameter imbalance cannot be effectively addressed by current re-balancing techniques, such as adjusting the logits, during training, unlike data imbalance. To tackle both imbalances simultaneously, we build our method on causal learning and view the incomplete semantic factor as the confounder, which brings spurious correlations between input samples and labels. To resolve the negative effects of this, we propose a novel backdoor adjustment method that learns the true causal effect between input samples and labels, rather than merely fitting the correlations in the data. Notably, we achieve an average performance increase of about $1.67\%$ on each dataset.
• Abstract（参考訳）: 長い尾の学習は、その実用的重要性から注目を集めている。 様々なアプローチの中で、ファインチューニングパラダイムは基礎モデルの出現によって大きな関心を集めている。 しかしながら、既存のほとんどの手法は、主にこれらのモデルから知識を活用することに焦点を当てており、彼らが依存する不均衡なトレーニングデータによってもたらされる固有のバイアスを見越している。 本稿では,事前学習による不均衡が長い下流作業にどのように影響するかを検討する。 具体的には、下流タスクの基盤モデルで継承された不均衡バイアスをパラメータ不均衡とデータ不均衡とみなす。 微調整中、パラメータの不均衡がより重要な役割を果たすのに対し、データ不均衡は既存の再バランス戦略によって緩和される。 さらに,パラメータの不均衡は,データ不均衡とは異なり,トレーニング中のロジットの調整など,現在の再バランス手法では効果的に対処できないことがわかった。 両不均衡を同時に解決するために,因果学習の手法を構築し,不完全意味因子を共同創設者とみなす。 そこで本研究では,データに相関関係を適合させるのではなく,入力サンプルとラベル間の真の因果関係を学習する,新たなバックドア調整手法を提案する。 特に、各データセットの平均的なパフォーマンス向上率は、約1.67 %である。

関連論文リスト

• Mind the Graph When Balancing Data for Fairness or Robustness [73.03155969727038]
  データバランシングのためのトレーニングディストリビューションの条件を定義し、公正またはロバストなモデルに導く。 その結果、多くの場合、バランスの取れた分布は、望ましくない依存関係を選択的に除去することには対応しないことがわかった。 その結果,データバランシングを行う前に因果グラフを考慮に入れることの重要性を強調した。
  論文  参考訳（メタデータ） (2024-06-25T10:16:19Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• The Effect of Balancing Methods on Model Behavior in Imbalanced Classification Problems [4.370097023410272]
  不均衡なデータは、マイノリティクラスからの学習不足によってモデルのパフォーマンスが影響を受けるため、分類において課題となる。 この研究は、バランスをとる方法のより困難な側面、すなわちモデル行動への影響に対処する。 これらの変化を捉えるために、説明可能な人工知能ツールは、バランスをとる前後にデータセットでトレーニングされたモデルを比較するために使用される。
  論文  参考訳（メタデータ） (2023-06-30T22:25:01Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Classification [11.673344551762822]
  ディープニューラルネットワークは、一般に、異なるクラス間の量不均衡と分類困難の不均衡に苦しむデータセットで性能が良くない。 表象学習から上位クラス化学習への学習強調を円滑に伝達する段階的な進行学習スケジュールが提案された。 私たちのコードはまもなくオープンソースになります。
  論文  参考訳（メタデータ） (2022-05-24T14:46:39Z)
• Analyzing the Effects of Handling Data Imbalance on Learned Features from Medical Images by Looking Into the Models [50.537859423741644]
  不均衡なデータセットでモデルをトレーニングすることは、学習問題にユニークな課題をもたらす可能性がある。 ニューラルネットワークの内部ユニットを深く調べて、データの不均衡処理が学習した機能にどのように影響するかを観察します。
  論文  参考訳（メタデータ） (2022-04-04T09:38:38Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。