論文の概要: SHiFT: An Efficient, Flexible Search Engine for Transfer Learning

• arxiv url: http://arxiv.org/abs/2204.01457v1
• Date: Mon, 4 Apr 2022 13:16:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 16:57:38.166339
• Title: SHiFT: An Efficient, Flexible Search Engine for Transfer Learning
• Title（参考訳）: SHiFT: 伝達学習のための効率的で柔軟な検索エンジン
• Authors: Cedric Renggli, Xiaozhe Yao, Luka Kolar, Luka Rimanic, Ana Klimovic, Ce Zhang
• Abstract要約: トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。 本稿では,トランスファー学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。
• 参考スコア（独自算出の注目度）: 16.289623977712086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning can be seen as a data- and compute-efficient alternative to training models from scratch. The emergence of rich model repositories, such as TensorFlow Hub, enables practitioners and researchers to unleash the potential of these models across a wide range of downstream tasks. As these repositories keep growing exponentially, efficiently selecting a good model for the task at hand becomes paramount. By carefully comparing various selection and search strategies, we realize that no single method outperforms the others, and hybrid or mixed strategies can be beneficial. Therefore, we propose SHiFT, the first downstream task-aware, flexible, and efficient model search engine for transfer learning. These properties are enabled by a custom query language SHiFT-QL together with a cost-based decision maker, which we empirically validate. Motivated by the iterative nature of machine learning development, we further support efficient incremental executions of our queries, which requires a careful implementation when jointly used with our optimizations.
• Abstract（参考訳）: トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。 TensorFlow Hubのようなリッチなモデルリポジトリの出現により、実践者や研究者は、これらのモデルのポテンシャルを広範囲の下流タスクに解放することができる。 これらのリポジトリは指数関数的に成長しているので、手前のタスクに適したモデルを効率的に選択することが最重要である。 様々な選択戦略と検索戦略を慎重に比較することにより,1つの手法が他の手法を上回ることはなく,ハイブリッド戦略や混合戦略が有益であることに気付く。 そこで我々は,転送学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。 これらのプロパティは、カスタムクエリ言語SHiFT-QLとコストベースの意思決定ツールによって実現されます。 機械学習開発の反復的な性質に動機づけられた私たちは、クエリの効率的なインクリメンタルな実行をさらにサポートします。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Green Runner: A tool for efficient deep learning component selection [0.76146285961466]
  本稿では、自然言語で提供されるアプリケーションシナリオに基づいて、モデルを自動的に選択し、評価する新しいツールであるToolnameを提案する。 ツールネームは、問題に基づく制約とトレードオフをモデル選択プロセスに統合する、リソース効率のよい実験エンジンを備えている。
  論文  参考訳（メタデータ） (2024-01-29T00:15:50Z)
• Learning to Maximize Mutual Information for Dynamic Feature Selection [13.821253491768168]
  本稿では,現在利用可能な情報に基づいてモデルを逐次クエリする動的特徴選択(DFS)問題を考察する。 条件付き相互情報に基づいて,特徴を欲求的に選択する,よりシンプルなアプローチについて検討する。 提案手法は,最適性を訓練した際の欲求を回復し,既存の特徴選択法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-02T08:31:56Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Practical Active Learning with Model Selection for Small Data [13.128648437690224]
  モデル選択を用いた実践的能動的学習のための簡易かつ高速な手法を開発した。 本手法は,ラジアル基底関数カーネルを用いたサポートベクトル分類を用いて,二元分類のためのプールベースアクティブラーナに基づく。
  論文  参考訳（メタデータ） (2021-12-21T23:11:27Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Which Model to Transfer? Finding the Needle in the Growing Haystack [27.660318887140203]
  我々は後悔というよく知られた概念を通じてこの問題の形式化を提供する。 タスク非依存とタスク認識の両方の手法が,後悔を招きかねないことを示す。 そこで我々は,既存の手法よりも優れた,シンプルで効率的なハイブリッド検索戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-13T14:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。