論文の概要: Transferability Estimation Based On Principal Gradient Expectation

• arxiv url: http://arxiv.org/abs/2211.16299v2
• Date: Wed, 30 Nov 2022 02:01:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:09:35.686095
• Title: Transferability Estimation Based On Principal Gradient Expectation
• Title（参考訳）: 主勾配期待値に基づく伝達可能性推定
• Authors: Huiyan Qi, Lechao Cheng, Jingjing Chen, Yue Yu, Zunlei Feng, Yu-Gang Jiang
• Abstract要約: クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
• 参考スコア（独自算出の注目度）: 68.97403769157117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep transfer learning has been widely used for knowledge transmission in recent years. The standard approach of pre-training and subsequently fine-tuning, or linear probing, has shown itself to be effective in many down-stream tasks. Therefore, a challenging and ongoing question arises: how to quantify cross-task transferability that is compatible with transferred results while keeping self-consistency? Existing transferability metrics are estimated on the particular model by conversing source and target tasks. They must be recalculated with all existing source tasks whenever a novel unknown target task is encountered, which is extremely computationally expensive. In this work, we highlight what properties should be satisfied and evaluate existing metrics in light of these characteristics. Building upon this, we propose Principal Gradient Expectation (PGE), a simple yet effective method for assessing transferability across tasks. Specifically, we use a restart scheme to calculate every batch gradient over each weight unit more than once, and then we take the average of all the gradients to get the expectation. Thus, the transferability between the source and target task is estimated by computing the distance of normalized principal gradients. Extensive experiments show that the proposed transferability metric is more stable, reliable and efficient than SOTA methods.
• Abstract（参考訳）: 近年,知識伝達には深層伝達学習が広く用いられている。 事前学習とその後の微調整の標準的なアプローチは、多くの下流タスクで有効であることが示されている。 自己一貫性を維持しながら、転送結果と互換性のあるクロスタスク転送可能性をどのように定量化するか? 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 新たな未知のターゲットタスクに遭遇するたびに、既存のすべてのソースタスクで再計算しなければなりません。 本研究は,これらの特性を考慮し,既存の指標を満足させ,評価するものである。 そこで本研究では,タスク間の伝達可能性を評価するための簡易かつ効果的な手法である主勾配期待(pge)を提案する。 具体的には、各重みユニット上の各バッチ勾配を1回以上計算するために再起動スキームを使用し、期待値を得るためにすべての勾配の平均を取ります。 したがって、正規化主勾配距離を計算することにより、ソースとターゲットタスク間の転送可能性の推定を行う。 実験の結果,SOTA法よりも安定で信頼性が高く,効率がよいことがわかった。

関連論文リスト

• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
  タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。 分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:47:17Z)
• Transferability Estimation for Semantic Segmentation Task [20.07223947190349]
  我々は、最近の伝達可能性メートル法OTCEスコアをセマンティックセグメンテーションタスクに拡張する。 OTCEスコアを適用する際の課題は高次元セグメンテーション出力であり、非常に多くのピクセル間の最適な結合を許容コストで見つけることは困難である。 Cityscapes、BDD100K、GTA5データセットの実験的評価は、OTCEスコアが転送性能と高い相関性を示すことを示している。
  論文  参考訳（メタデータ） (2021-09-30T16:21:17Z)
• Practical Transferability Estimation for Image Classification Tasks [20.07223947190349]
  大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。 最近提案されたOTCEスコアは、ドメイン差とタスク差を考慮してこの問題を解決する。 本稿では,タスク差分推定のロバスト性を大幅に向上させる,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2021-06-19T11:59:11Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。