論文の概要: TransBO: Hyperparameter Optimization via Two-Phase Transfer Learning

• arxiv url: http://arxiv.org/abs/2206.02663v1
• Date: Mon, 6 Jun 2022 15:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:58:56.159931
• Title: TransBO: Hyperparameter Optimization via Two-Phase Transfer Learning
• Title（参考訳）: トランスボ:二相伝達学習によるハイパーパラメータ最適化
• Authors: Yang Li, Yu Shen, Huaijun Jiang, Wentao Zhang, Zhi Yang, Ce Zhang and Bin Cui
• Abstract要約: 我々はHPOのための新しい2相変換学習フレームワークであるTransBOを提案する。 このフレームワークは、ソースとターゲットの知識を協調的かつ適応的に抽出し、そこで重みを原則的に学習することができる。 静的および動的トランスファー学習設定やニューラルアーキテクチャ検索を含む実験は、最先端技術よりもTransBOの方が優れていることを実証している。
• 参考スコア（独自算出の注目度）: 34.03589264085516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the extensive applications of machine learning models, automatic hyperparameter optimization (HPO) has become increasingly important. Motivated by the tuning behaviors of human experts, it is intuitive to leverage auxiliary knowledge from past HPO tasks to accelerate the current HPO task. In this paper, we propose TransBO, a novel two-phase transfer learning framework for HPO, which can deal with the complementary nature among source tasks and dynamics during knowledge aggregation issues simultaneously. This framework extracts and aggregates source and target knowledge jointly and adaptively, where the weights can be learned in a principled manner. The extensive experiments, including static and dynamic transfer learning settings and neural architecture search, demonstrate the superiority of TransBO over the state-of-the-arts.
• Abstract（参考訳）: 機械学習モデルの広範な応用により、自動ハイパーパラメータ最適化(HPO)がますます重要になっている。 従来のHPOタスクから補助的な知識を活用して,現在のHPOタスクを加速することが直感的である。 本稿では,HPOのための新しい2相変換学習フレームワークであるTransBOを提案する。 このフレームワークは、ソースとターゲットの知識を協調的かつ適応的に抽出し集約し、重みを原則的に学習する。 静的および動的トランスファー学習設定やニューラルアーキテクチャ検索を含む広範な実験は、最先端技術よりもTransBOの優位性を実証している。

関連論文リスト

• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• H-ensemble: An Information Theoretic Approach to Reliable Few-Shot Multi-Source-Free Transfer [4.328706834250445]
  本稿では,対象タスクに対するソースモデルの最適線形結合を学習するHアンサンブル(H-ensemble)というフレームワークを提案する。 H-アンサンブルは,1)少数の目標タスクに対する新しいMSF設定への適応性,2)理論的信頼性,3)解釈や適応が容易な軽量構造を特徴とする。 我々は,Hアンサンブルが最適なタスクアンサンブルを学習し,先行技術より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-19T17:39:34Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Uncertainty-aware transfer across tasks using hybrid model-based successor feature reinforcement learning [18.80906316352317]
  各アクションの値の不確実性は、カルマンフィルタ(KF)ベースの多重モデル適応推定によって近似される。 我々のアルゴリズムは、異なる遷移力学の知識を一般化し、スクラッチから始めるよりもはるかに少ないサンプルで下流タスクを学習し、既存のアプローチより優れています。
  論文  参考訳（メタデータ） (2023-10-16T20:37:36Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Transfer Learning based Search Space Design for Hyperparameter Tuning [31.96809688536572]
  過去のタスクから履歴をチューニングする助けを借りてBO検索空間を設計する自動手法を提案する。 このシンプルで効果的なアプローチは、多くの既存のBOメソッドに伝達学習機能を持たせるために使用できる。
  論文  参考訳（メタデータ） (2022-06-06T11:48:58Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Visual-Language Navigation Pretraining via Prompt-based Environmental Self-exploration [83.96729205383501]
  本稿では,言語埋め込みの高速適応を実現するために,プロンプトベースの学習を導入する。 我々のモデルは、VLNやREVERIEを含む多様な視覚言語ナビゲーションタスクに適応することができる。
  論文  参考訳（メタデータ） (2022-03-08T11:01:24Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。