論文の概要: Post-hoc Spurious Correlation Neutralization with Single-Weight Fictitious Class Unlearning

• arxiv url: http://arxiv.org/abs/2501.14182v1
• Date: Fri, 24 Jan 2025 02:22:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:56:59.974890
• Title: Post-hoc Spurious Correlation Neutralization with Single-Weight Fictitious Class Unlearning
• Title（参考訳）: シングルウェイト・フィクティヴ・クラス・アンラーニングによるポストホックスプリアス相関ニュートラル化
• Authors: Shahin Hakemi, Naveed Akhtar, Ghulam Mubashar Hassan, Ajmal Mian,
• Abstract要約: ニューラルネットワークのトレーニングは、トレーニング損失を最小限に抑えるショートカットとして、最も単純な機能を利用する傾向がある。 これらの特徴のいくつかは、ターゲットラベルと急激な相関関係があり、モデルによる誤った予測につながる可能性がある。 単重修正を用いた独特なクラス除去手法を提案する。
• 参考スコア（独自算出の注目度）: 46.2410852276839
• License:
• Abstract: Neural network training tends to exploit the simplest features as shortcuts to greedily minimize training loss. However, some of these features might be spuriously correlated with the target labels, leading to incorrect predictions by the model. Several methods have been proposed to address this issue. Focusing on suppressing the spurious correlations with model training, they not only incur additional training cost, but also have limited practical utility as the model misbehavior due to spurious relations is usually discovered after its deployment. It is also often overlooked that spuriousness is a subjective notion. Hence, the precise questions that must be investigated are; to what degree a feature is spurious, and how we can proportionally distract the model's attention from it for reliable prediction. To this end, we propose a method that enables post-hoc neutralization of spurious feature impact, controllable to an arbitrary degree. We conceptualize spurious features as fictitious sub-classes within the original classes, which can be eliminated by a class removal scheme. We then propose a unique precise class removal technique that employs a single-weight modification, which entails negligible performance compromise for the remaining classes. We perform extensive experiments, demonstrating that by editing just a single weight in a post-hoc manner, our method achieves highly competitive, or better performance against the state-of-the-art methods.
• Abstract（参考訳）: ニューラルネットワークのトレーニングは、トレーニング損失を最小限に抑えるショートカットとして、最も単純な機能を利用する傾向がある。 しかし、これらの特徴のいくつかはターゲットラベルと急激な相関関係があり、モデルによる誤った予測につながる可能性がある。 この問題に対処するいくつかの方法が提案されている。 モデルトレーニングと突発的な相関を抑えることに焦点を当て、追加のトレーニングコストを発生させるだけでなく、モデルの誤動作が展開後に発見されるため、実用性も制限される。 また、素直さが主観的概念であることもしばしば見過ごされる。 したがって、調査すべき正確な質問は、機能がどのようにスパイラルであるか、信頼性のある予測のためにモデルの注意を比例的に注意をそらすことができるか、である。 この目的のために,任意の程度に制御可能な突発的特徴衝撃のポストホック中和を可能にする手法を提案する。 我々は,クラス除去方式によって排除可能な,原クラス内の架空のサブクラスとして,突発的特徴を概念化する。 次に,一重修正を施した独特な厳密なクラス除去手法を提案する。 我々は,ポストホックな方法で一重の編集を行うことで,最先端の手法に対して高い競争力,あるいは優れた性能を達成できることを実証し,広範な実験を行った。

関連論文リスト

• Fine-Tuning is Fine, if Calibrated [33.42198023647517]
  事前訓練されたモデルの微調整は、以前に学習した他のクラスにおいて、モデルの精度を劇的に低下させることが示されている。 本論文は,「微調整モデルで損傷を受けたものは何か?」という根本的な疑問に答えることを目的として,この問題を体系的に識別する。 微調整されたモデルは、他のクラス間の関係を忘れたり、これらのクラスを認識するために機能を劣化させたりしない。
  論文  参考訳（メタデータ） (2024-09-24T16:35:16Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。