論文の概要: Which Model to Transfer? Finding the Needle in the Growing Haystack

• arxiv url: http://arxiv.org/abs/2010.06402v2
• Date: Fri, 25 Mar 2022 08:27:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:02:12.288113
• Title: Which Model to Transfer? Finding the Needle in the Growing Haystack
• Title（参考訳）: どのモデルに移行するか? 成長するハイスタックの針を見つける
• Authors: Cedric Renggli, Andr\'e Susano Pinto, Luka Rimanic, Joan Puigcerver, Carlos Riquelme, Ce Zhang, Mario Lucic
• Abstract要約: 我々は後悔というよく知られた概念を通じてこの問題の形式化を提供する。 タスク非依存とタスク認識の両方の手法が,後悔を招きかねないことを示す。 そこで我々は,既存の手法よりも優れた,シンプルで効率的なハイブリッド検索戦略を提案する。
• 参考スコア（独自算出の注目度）: 27.660318887140203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has been recently popularized as a data-efficient alternative to training models from scratch, in particular for computer vision tasks where it provides a remarkably solid baseline. The emergence of rich model repositories, such as TensorFlow Hub, enables the practitioners and researchers to unleash the potential of these models across a wide range of downstream tasks. As these repositories keep growing exponentially, efficiently selecting a good model for the task at hand becomes paramount. We provide a formalization of this problem through a familiar notion of regret and introduce the predominant strategies, namely task-agnostic (e.g. ranking models by their ImageNet performance) and task-aware search strategies (such as linear or kNN evaluation). We conduct a large-scale empirical study and show that both task-agnostic and task-aware methods can yield high regret. We then propose a simple and computationally efficient hybrid search strategy which outperforms the existing approaches. We highlight the practical benefits of the proposed solution on a set of 19 diverse vision tasks.
• Abstract（参考訳）: 最近、トランスファーラーニングは、スクラッチからトレーニングモデルに代わるデータ効率の代替として、特に非常に安定したベースラインを提供するコンピュータビジョンタスクとして普及している。 TensorFlow Hubのようなリッチなモデルリポジトリの出現により、実践者や研究者は、これらのモデルの可能性を広範囲の下流タスクで解き放つことができる。 これらのリポジトリは指数関数的に成長しているので、手前のタスクに適したモデルを効率的に選択することが最重要である。 本稿では, 後悔という概念を通じてこの問題を形式化し, タスク非依存(例えば, ImageNetのパフォーマンスによるランキングモデル)やタスク対応検索戦略(リニアやkNN評価など)といった主要な戦略を導入する。 我々は,大規模実験を行い,タスクに依存しない手法とタスク認識手法の両方が高い後悔をもたらすことを示した。 そこで我々は,既存の手法より優れる,シンプルで効率的なハイブリッド検索戦略を提案する。 本稿では,19種類の視覚課題に対して提案手法の実用的メリットを強調した。

関連論文リスト

• One-Shot Pruning for Fast-adapting Pre-trained Models on Devices [28.696989086706186]
  大規模な事前訓練モデルが下流タスクの解決に成功している。 これらのモデルを低機能デバイスにデプロイするには、モデルプルーニングのような効果的なアプローチが必要である。 そこで本研究では,類似タスクの抽出知識を活用して,事前学習したモデルからサブネットワークを抽出する,スケーラブルなワンショットプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-10T06:44:47Z)
• Self-Supervised Reinforcement Learning that Transfers using Random Features [41.00256493388967]
  本研究では,タスク間の行動の伝達を,報酬の異なる自己指導型強化学習手法を提案する。 我々の手法は、報奨ラベルなしでオフラインデータセットでトレーニングできるが、新しいタスクに素早くデプロイできるという自己教師型である。
  論文  参考訳（メタデータ） (2023-05-26T20:37:06Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems [4.675744559395732]
  マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。 最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。 本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T13:10:47Z)
• SHiFT: An Efficient, Flexible Search Engine for Transfer Learning [16.289623977712086]
  トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。 本稿では,トランスファー学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。
  論文  参考訳（メタデータ） (2022-04-04T13:16:46Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
  本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。 この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。 簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
  論文  参考訳（メタデータ） (2020-07-01T19:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。