論文の概要: Identifying and Disentangling Spurious Features in Pretrained Image Representations

• arxiv url: http://arxiv.org/abs/2306.12673v1
• Date: Thu, 22 Jun 2023 05:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 15:24:57.481823
• Title: Identifying and Disentangling Spurious Features in Pretrained Image Representations
• Title（参考訳）: 事前訓練画像表現における純粋特徴の同定と識別
• Authors: Rafayel Darbinyan, Hrayr Harutyunyan, Aram H. Markosyan, Hrant Khachatrian
• Abstract要約: 予備訓練された表現において,突発的特徴がどのように表現されるかを調査し,突発的特徴に関する情報を除去するための戦略を探る。 Waterbirdsのデータセットを考えると、急激な特徴を十分に理解しているとしても、その除去は、絡み合った表現のため簡単ではないことが分かる。 符号化に適用した2つの効果的なスプリアス特徴除去手法を提案し、最悪のグループ精度で測定された分類性能を著しく改善する。
• 参考スコア（独自算出の注目度）: 5.349513635393589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks employ spurious correlations in their predictions, resulting in decreased performance when these correlations do not hold. Recent works suggest fixing pretrained representations and training a classification head that does not use spurious features. We investigate how spurious features are represented in pretrained representations and explore strategies for removing information about spurious features. Considering the Waterbirds dataset and a few pretrained representations, we find that even with full knowledge of spurious features, their removal is not straightforward due to entangled representation. To address this, we propose a linear autoencoder training method to separate the representation into core, spurious, and other features. We propose two effective spurious feature removal approaches that are applied to the encoding and significantly improve classification performance measured by worst group accuracy.
• Abstract（参考訳）: ニューラルネットワークはその予測に急激な相関を導入し、これらの相関が保たなければ性能が低下する。 最近の研究は、事前訓練された表現の修正と、素早い特徴を使用しない分類ヘッドの訓練を提案する。 予備訓練された表現において,突発的特徴がどのように表現されるかを調査し,突発的特徴に関する情報を除去するための戦略を探る。 Waterbirdsデータセットといくつかの事前訓練された表現を考えると、急激な特徴を十分に理解しているとしても、その除去は絡み合った表現のため簡単ではない。 そこで本研究では,表現をコア,スプリアス,その他の特徴に分離する線形オートエンコーダトレーニング手法を提案する。 符号化に適用した2つの効果的なスプリアス特徴除去手法を提案し、最悪のグループ精度で測定された分類性能を著しく改善する。

関連論文リスト

• Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
  自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。 単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-10-10T10:20:16Z)
• Out of spuriousity: Improving robustness to spurious correlations without group annotations [2.592470112714595]
  本稿では,突発的相関に依存しない完全トレーニングネットワークからサブネットワークを抽出する手法を提案する。 提案手法の最悪のグループ性能の増加は、完全に訓練された高密度ネットワークにサブネットワークが存在するという仮説の強化に寄与する。
  論文  参考訳（メタデータ） (2024-07-20T20:24:14Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Shielded Representations: Protecting Sensitive Attributes Through Iterative Gradient-Based Projection [39.16319169760823]
  イテレーティブ・グラディエント・ベース・プロジェクション(Iterative Gradient-Based Projection)は、非線形符号化された概念をニューラル表現から除去する新しい方法である。 以上の結果より, IGBPは内因性および外因性評価によるバイアス軽減に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-17T13:26:57Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Intersection Regularization for Extracting Semantic Attributes [72.53481390411173]
  本稿では,ネットワーク抽出した特徴が意味属性のセットと一致するように,教師付き分類の問題を考える。 例えば、鳥類のイメージを種に分類することを学ぶとき、動物学者が鳥類を分類するために使用する特徴の出現を観察したい。 本稿では,複数層パーセプトロン(MLP)と並列決定木を併用した,離散的なトップレベルアクティベーションを持つニューラルネットワークのトレーニングを提案する。
  論文  参考訳（メタデータ） (2021-03-22T14:32:44Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。