論文の概要: Learning Stable Classifiers by Transferring Unstable Features

• arxiv url: http://arxiv.org/abs/2106.07847v1
• Date: Tue, 15 Jun 2021 02:41:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 04:46:51.884943
• Title: Learning Stable Classifiers by Transferring Unstable Features
• Title（参考訳）: 不安定特徴の伝達による安定分類器の学習
• Authors: Yujia Bao, Shiyu Chang, Regina Barzilay
• Abstract要約: 本研究では,素早い相関関係の存在下での伝達学習について検討する。 提案手法は, ソースタスクで学習した安定な特徴抽出器を直接転送しても, 対象タスクのバイアスを排除できないことを実験的に実証する。 我々は、ソースタスクの不安定な特徴とターゲットタスクの不安定な特徴が直接関連していると仮定する。
• 参考スコア（独自算出の注目度）: 59.06169363181417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study transfer learning in the presence of spurious correlations. We experimentally demonstrate that directly transferring the stable feature extractor learned on the source task may not eliminate these biases for the target task. However, we hypothesize that the unstable features in the source task and those in the target task are directly related. By explicitly informing the target classifier of the source task's unstable features, we can regularize the biases in the target task. Specifically, we derive a representation that encodes the unstable features by contrasting different data environments in the source task. On the target task, we cluster data from this representation, and achieve robustness by minimizing the worst-case risk across all clusters. We evaluate our method on both text and image classifications. Empirical results demonstrate that our algorithm is able to maintain robustness on the target task, outperforming the best baseline by 22.9% in absolute accuracy across 12 transfer settings. Our code is available at https://github.com/YujiaBao/Tofu.
• Abstract（参考訳）: 我々は,スプリアス相関の存在下での転校学習について検討する。 提案手法は,ソースタスクで学習した安定な特徴抽出器を直接転送しても,対象タスクのバイアスを排除できないことを示す。 しかし、本研究では、ソースタスクとターゲットタスクの不安定な特徴が直接関連していると仮定する。 ソースタスクの不安定な機能のターゲット分類器を明示的に通知することで、ターゲットタスクのバイアスを正規化することができる。 具体的には、ソースタスク内の異なるデータ環境を対比することにより、不安定な特徴をエンコードする表現を導出する。 対象のタスクでは、この表現からデータをクラスタ化し、すべてのクラスタで最悪のリスクを最小限にすることで堅牢性を達成する。 本手法はテキスト分類と画像分類の両方で評価する。 実験結果から,本アルゴリズムは目標タスクのロバスト性を維持し,12の転送設定における絶対精度を22.9%向上させることができた。 私たちのコードはhttps://github.com/yujiabao/tofuで利用可能です。

関連論文リスト

• Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning [0.3281128493853064]
  過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に対処する。 既存の方法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表す。 本稿では,タスクからタスクへ共分散行列を適用する新しい手法であるAdaGaussを提案する。
  論文  参考訳（メタデータ） (2024-09-26T20:18:14Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Pixel is All You Need: Adversarial Trajectory-Ensemble Active Learning for Salient Object Detection [40.97103355628434]
  弱教師付きデータで訓練されたサリエンシモデルがその完全教師付きバージョンの同等のパフォーマンスを達成できるかどうかは不明である。 我々は,新しい対向軌道アンサンブルアクティブラーニング(ATAL)を提案する。 実験の結果、私たちのALTはそのようなポイントラベル付きデータセットを見つけることができ、トレーニングされたサリエンシモデルは、イメージ毎に10の注釈付きポイントしか持たないフル教師付きバージョンの97%$ --99%のパフォーマンスを得ることができた。
  論文  参考訳（メタデータ） (2022-12-13T11:18:08Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Alleviating the Sample Selection Bias in Few-shot Learning by Removing Projection to the Centroid [22.918659185060523]
  Task Centroid Projection Removing (TCPR)は、タスク内のすべてのイメージ機能に直接適用される。 本手法は,タスクセントロイドに近すぎる特徴を効果的に防止する。 さまざまな特徴抽出器、トレーニングアルゴリズム、データセットの分類精度を確実に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-30T13:03:13Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Unsupervised Robust Domain Adaptation without Source Data [75.85602424699447]
  我々は、利用できないターゲットラベルとソースデータのコンテキストにおけるロバストなドメイン適応の問題について研究する。 4つのベンチマークデータセットでテストされたベースラインに対して10%以上の精度で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-03-26T16:42:28Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。