論文の概要: Evaluating the Values of Sources in Transfer Learning

• arxiv url: http://arxiv.org/abs/2104.12567v1
• Date: Mon, 26 Apr 2021 13:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:42:46.408014
• Title: Evaluating the Values of Sources in Transfer Learning
• Title（参考訳）: 転帰学習における情報源の価値評価
• Authors: Md Rizwan Parvez and Kai-Wei Chang
• Abstract要約: SEAL-Shapは、ソースの有用性を定量化する効率的なソース評価フレームワークである。 我々のフレームワークは有用な転送ソースを選択するのに有効であるだけでなく、ソース値も直感的なソースとターゲットの類似性にマッチする。
• 参考スコア（独自算出の注目度）: 38.93955146476584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning that adapts a model trained on data-rich sources to low-resource targets has been widely applied in natural language processing (NLP). However, when training a transfer model over multiple sources, not every source is equally useful for the target. To better transfer a model, it is essential to understand the values of the sources. In this paper, we develop SEAL-Shap, an efficient source valuation framework for quantifying the usefulness of the sources (e.g., domains/languages) in transfer learning based on the Shapley value method. Experiments and comprehensive analyses on both cross-domain and cross-lingual transfers demonstrate that our framework is not only effective in choosing useful transfer sources but also the source values match the intuitive source-target similarity.
• Abstract（参考訳）: データリッチソースでトレーニングされたモデルを低リソースターゲットに適応するトランスファー学習は、自然言語処理(NLP)に広く適用されている。 しかし、複数のソース上で転送モデルをトレーニングする場合、すべてのソースがターゲットに等しく有用であるとは限らない。 モデルをより良く転送するには、ソースの値を理解することが不可欠である。 本稿では,Shapley値法に基づく伝達学習における情報源(ドメイン/言語など)の有用性を定量化する効率的な情報源評価フレームワークSEAL-Shapを開発する。 クロスドメイントランスファーとクロスリンガルトランスファーの両方に関する実験と包括的解析により、我々のフレームワークは有用なトランスファーソースの選択に有効であるだけでなく、ソース値が直感的なソース・ターゲットの類似性に合致することを示した。

関連論文リスト

• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training [23.56208527227504]
  ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、関連するがラベル付けされていないターゲットドメインに適応させることを目的としている。 従来のSFDAパイプラインでは、ソースモデルを初期化するために、大量のデータ(イメージネットなど)を事前訓練した特徴抽出器が使用される。 トレーニング済みネットワークを対象適応プロセスに組み込むための統合フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-05T14:48:13Z)
• Rethinking the Role of Pre-Trained Networks in Source-Free Domain Adaptation [26.481422574715126]
  ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、ラベル付けされていないターゲットドメインに適応させることを目的としている。 大規模データ事前トレーニングネットワークは、ソーストレーニング中にソースモデルを初期化するために使用され、その後破棄される。 本稿では,事前学習されたネットワークを対象適応プロセスに統合し,一般化に重要な特徴を多様化することを提案する。
  論文  参考訳（メタデータ） (2022-12-15T02:25:22Z)
• Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation [63.24594955429465]
  マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。 AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。 本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
  論文  参考訳（メタデータ） (2021-10-27T15:20:41Z)
• To Share or not to Share: Predicting Sets of Sources for Model Transfer Learning [22.846469609263416]
  モデル転送が様々な領域とタスクのシーケンスラベリングに及ぼす影響について検討する。 モデル類似性とサポートベクタマシンに基づく提案手法は,予測可能な情報源を予測し,最大24F1ポイントの性能向上を実現する。
  論文  参考訳（メタデータ） (2021-04-16T12:44:40Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)
• Meta-learning Transferable Representations with a Single Target Domain [46.83481356352768]
  微調整とジョイントトレーニングは、下流タスクの精度を常に向上させるわけではない。 伝達可能な特徴を学習するためのメタ表現学習(MeRLin)を提案する。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。
  論文  参考訳（メタデータ） (2020-11-03T01:57:37Z)
• Multi-source Attention for Unsupervised Domain Adaptation [15.900069711477542]
  ソース選択をアテンション学習問題としてモデル化し、特定のターゲットインスタンスのソースに対してアテンションを学習する。 この目的のために、まずソース固有の分類モデルと、ソースとターゲットドメイン間の関連性マップを独立に学習する。 次に、ソース固有のモデルの予測を集約するソースについて、注目度を学習する。
  論文  参考訳（メタデータ） (2020-04-14T15:51:02Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。