論文の概要: Refocusing Is Key to Transfer Learning

• arxiv url: http://arxiv.org/abs/2305.15542v1
• Date: Wed, 24 May 2023 20:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:51:47.054229
• Title: Refocusing Is Key to Transfer Learning
• Title（参考訳）: 転向学習の鍵は再フォーカス
• Authors: Baifeng Shi, Siyu Gai, Trevor Darrell, Xin Wang
• Abstract要約: Top-Down Attention Steering (TOAST)は、タスク固有の機能に注意を向ける転送学習アルゴリズムである。 様々な細かい視覚分類データセットのパフォーマンスを大幅に改善する。
• 参考スコア（独自算出の注目度）: 77.83191769502763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning involves adapting a pre-trained model to novel downstream tasks. However, we observe that current transfer learning methods often fail to focus on task-relevant features. In this work, we emphasize the importance of refocusing the attention in transfer learning. We introduce Top-Down Attention Steering (TOAST), a novel transfer learning algorithm that keeps the pre-trained backbone frozen, while selecting the task-relevant elements in the output and feeding them back to the model to steer its attention to the task-specific features. By refocusing the attention only, TOAST achieves state-of-the-art results on a number of transfer learning benchmarks, while having a small portion of tunable parameters. Compared to fully fine-tuning, LoRA, and prompt tuning, TOAST substantially improves performance across a range of fine-grained visual classification datasets (e.g., 81.1% -> 86.2% on FGVC). TOAST also outperforms the fully fine-tuned Alpaca model on instruction-following language generation. Code is available at https://github.com/bfshi/TOAST.
• Abstract（参考訳）: トランスファーラーニングでは、トレーニング済みのモデルを下流タスクに適応させる。 しかし,現在の移動学習手法はタスク関連機能に焦点を合わせないことが多い。 本研究は,転校学習において注意を再び集中することの重要性を強調する。 本稿では,タスク関連要素を選択してモデルにフィードバックし,タスク固有の特徴に注意を向けるとともに,事前学習したバックボーンを凍結する新しい転送学習アルゴリズムであるTop-Down Attention Steering(TOAST)を紹介する。 注意のみに焦点を合わせることで、TOASTは、調整可能なパラメータのごく一部を持ちながら、多くの移行学習ベンチマークで最先端の結果を達成する。 完全な微調整、LoRA、即時チューニングと比較すると、TOASTは様々な細かい視覚分類データセット(例えばFGVCでは81.1%から86.2%)のパフォーマンスを大幅に向上させる。 TOASTはまた、命令追従言語生成において、完全に調整されたAlpacaモデルよりも優れている。 コードはhttps://github.com/bfshi/TOASTで入手できる。

関連論文リスト

• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Visual Query Tuning: Towards Effective Usage of Intermediate Representations for Parameter and Memory Efficient Transfer Learning [19.254454866466187]
  視覚変換器の中間機能を集約する視覚クエリチューニング(VQT)を提案する。 VQTは中間機能をそのままに保ち、それらを組み合わせることしか学ばないため、トレーニングではメモリ効率がよい。 VQTは、トランスファーラーニングに中間機能を利用する最先端のアプローチを一貫して超越している。
  論文  参考訳（メタデータ） (2022-12-06T18:39:45Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Learn Faster and Forget Slower via Fast and Stable Task Adaptation [10.696114236900808]
  現在の微調整技術により、事前訓練されたモデルは、新しいタスクが学習される前に、転送された知識を忘れることができる。 本稿では,Fast And Stable Task-Adaptation (FAST)を提案する。 実験により,FASTはより高速に目標タスクを学習し,ソースタスクを遅くすることを示す。
  論文  参考訳（メタデータ） (2020-07-02T21:13:55Z)
• Investigating Transferability in Pretrained Language Models [8.83046338075119]
  本稿では,各事前学習層が伝達タスク性能に与える影響を簡易なアブレーション手法で判定する。 この手法により、BERTでは、下流GLUEタスクにおける高いプローブ性能を持つレイヤは、それらのタスクに対して高い精度で必要でも十分でもないことが分かる。
  論文  参考訳（メタデータ） (2020-04-30T17:23:19Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。