論文の概要: Frustratingly Easy Transferability Estimation

• arxiv url: http://arxiv.org/abs/2106.09362v1
• Date: Thu, 17 Jun 2021 10:27:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 15:45:32.227630
• Title: Frustratingly Easy Transferability Estimation
• Title（参考訳）: フラストレーションに簡単な転送可能性推定
• Authors: Long-Kai Huang, Ying Wei, Yu Rong, Qiang Yang and Junzhou Huang
• Abstract要約: 本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
• 参考スコア（独自算出の注目度）: 64.42879325144439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferability estimation has been an essential tool in selecting a pre-trained model and the layers of it to transfer, so as to maximize the performance on a target task and prevent negative transfer. Existing estimation algorithms either require intensive training on target tasks or have difficulties in evaluating the transferability between layers. We propose a simple, efficient, and effective transferability measure named TransRate. With single pass through the target data, TransRate measures the transferability as the mutual information between the features of target examples extracted by a pre-trained model and labels of them. We overcome the challenge of efficient mutual information estimation by resorting to coding rate that serves as an effective alternative to entropy. TransRate is theoretically analyzed to be closely related to the performance after transfer learning. Despite its extraordinary simplicity in 10 lines of codes, TransRate performs remarkably well in extensive evaluations on 22 pre-trained models and 16 downstream tasks.
• Abstract（参考訳）: 伝達可能性の推定は、対象タスクのパフォーマンスを最大化し負の転送を防止するために、事前学習されたモデルと転送対象のレイヤを選択する上で必須のツールである。 既存の推定アルゴリズムは、ターゲットタスクの集中的なトレーニングを必要とするか、あるいはレイヤ間の転送可能性を評価するのに苦労している。 本稿では,TransRateという簡易かつ効率的かつ効果的な転送可能性尺度を提案する。 対象データを単一パスすることで、トランスレートは、事前訓練されたモデルによって抽出された対象例の特徴とそれらのラベルとの相互情報として転送可能性を測定する。 エントロピーの効果的な代替となる符号化率に頼って、効率的な相互情報推定の課題を克服する。 TransRateを理論的に解析し、転送学習後の性能と密接に関連している。 10行のコードで非常に単純であるにもかかわらず、transrateは22の事前訓練されたモデルと16のダウンストリームタスクの広範な評価において、非常によく機能する。

関連論文リスト

• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions [78.55044112903148]
  我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。 提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
  論文  参考訳（メタデータ） (2022-02-02T15:51:07Z)
• Transferability Estimation for Semantic Segmentation Task [20.07223947190349]
  我々は、最近の伝達可能性メートル法OTCEスコアをセマンティックセグメンテーションタスクに拡張する。 OTCEスコアを適用する際の課題は高次元セグメンテーション出力であり、非常に多くのピクセル間の最適な結合を許容コストで見つけることは困難である。 Cityscapes、BDD100K、GTA5データセットの実験的評価は、OTCEスコアが転送性能と高い相関性を示すことを示している。
  論文  参考訳（メタデータ） (2021-09-30T16:21:17Z)
• Practical Transferability Estimation for Image Classification Tasks [20.07223947190349]
  大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。 最近提案されたOTCEスコアは、ドメイン差とタスク差を考慮してこの問題を解決する。 本稿では,タスク差分推定のロバスト性を大幅に向上させる,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2021-06-19T11:59:11Z)
• CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
  ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。 本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
  論文  参考訳（メタデータ） (2021-06-12T02:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。