論文の概要: Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features

• arxiv url: http://arxiv.org/abs/2302.05441v2
• Date: Thu, 25 May 2023 04:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 20:55:22.459737
• Title: Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features
• Title（参考訳）: Project and Probe: 直交的特徴補間によるサンプル効率の良いドメイン適応
• Authors: Annie S. Chen, Yoonho Lee, Amrith Setlur, Sergey Levine, Chelsea Finn
• Abstract要約: 多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
• 参考スコア（独自算出の注目度）: 119.22672589020394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning with a small amount of target data is an effective and common approach to adapting a pre-trained model to distribution shifts. In some situations, target data labels may be expensive to obtain, so we may only have access to a limited number of target data points. To make the most of a very small target dataset, we propose a lightweight, sample-efficient approach that learns a diverse set of features and adapts to a target distribution by interpolating these features. Our approach, Project and Probe (Pro$^2$), first learns a linear projection that maps a pre-trained embedding onto orthogonal directions while being predictive of labels in the source dataset. The goal of this step is to learn a variety of predictive features, so that at least some of them remain useful after distribution shift. Pro$^2$ then learns a linear classifier on top of these projected features using a small target dataset. Theoretically, we find that Pro$^2$ results in more sample-efficient generalization by inducing a favorable bias-variance tradeoff. Our experiments on four datasets, with multiple distribution shift settings for each, show that Pro$^2$ improves performance by 5-15% when given limited target data compared to prior methods such as standard linear probing.
• Abstract（参考訳）: 少量のターゲットデータを用いた転送学習は、事前学習されたモデルを分散シフトに適応させるための効果的で一般的なアプローチである。 いくつかの状況では、ターゲットデータラベルは入手するのに高価であるため、限られた数のターゲットデータポイントにしかアクセスできない。 非常に小さなターゲットデータセットを最大限に活用するために,多様な特徴集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよいアプローチを提案する。 当社のアプローチであるProject and Probe(Pro$^2$)は、まず、ソースデータセット内のラベルを予測しながら、トレーニング済みの埋め込みを直交方向へマッピングする線形射影を学習する。 このステップの目標は、さまざまな予測機能を学ぶことにある。 Pro$^2$は、小さなターゲットデータセットを使用して、これらの投影された機能の上に線形分類器を学ぶ。 理論的には、pro$^2$は有利なバイアス分散トレードオフを誘導することでよりサンプル効率の良い一般化をもたらす。 分散シフトを複数設定した4つのデータセットを実験した結果、pro$^2$は、標準線形プローブのような従来の方法と比較して、ターゲットデータに制限のある場合に5～15%性能が向上することが示された。

関連論文リスト

• Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
  この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。 特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。 提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
  論文  参考訳（メタデータ） (2024-05-05T00:08:00Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning [17.40655778450583]
  本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。 VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-02-03T06:29:04Z)
• Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings [16.009815290729904]
  MixProは軽量でデータ効率のよいアプローチで、数ショットの適応が可能だ。 MixProはベースラインを最大7%上回り、2-4のターゲット例しかありません。
  論文  参考訳（メタデータ） (2023-05-23T20:49:45Z)
• Deep Active Learning with Contrastive Learning Under Realistic Data Pool Assumptions [2.578242050187029]
  アクティブラーニングは、モデルが望まれる精度を迅速に到達できるようにする、ラベルのないデータプールから最も情報性の高いデータを特定することを目的としている。 既存のアクティブラーニング手法の多くは、未ラベルのデータプールに対象タスクに関連するサンプルのみが存在する理想的な環境で評価されている。 我々は,不明瞭でタスク非関連なアウト・オブ・ディストリビューションと,イン・ディストリビューション・サンプルを含む,新しいアクティブ・ラーニング・ベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-03-25T10:46:10Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)
• Lightweight Conditional Model Extrapolation for Streaming Data under Class-Prior Shift [27.806085423595334]
  非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。 我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。 Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-10T15:19:52Z)
• Deep learning model solves change point detection for multiple change types [69.77452691994712]
  変更点検出は、データ分散の急激な障害をキャッチすることを目的としている。 本稿では,マルチディストリビューションシナリオにおけるアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-15T09:44:21Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。