論文の概要: Towards Meta-learned Algorithm Selection using Implicit Fidelity Information

• arxiv url: http://arxiv.org/abs/2206.03130v1
• Date: Tue, 7 Jun 2022 09:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 15:41:03.142743
• Title: Towards Meta-learned Algorithm Selection using Implicit Fidelity Information
• Title（参考訳）: 暗黙的忠実性情報を用いたメタ学習アルゴリズム選択に向けて
• Authors: Aditya Mohan, Tim Ruhkopf, Marius Lindauer
• Abstract要約: IMFASは、計算コストの低い任意のメタ機能によって容易に豊かになる情報的ランドマークを生産する。 テスト期間中に、ほぼ半分の忠実度シーケンスでSuccessive Halvingを破ることができることを示す。
• 参考スコア（独自算出の注目度）: 13.750624267664156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically selecting the best performing algorithm for a given dataset or ranking multiple of them by their expected performance supports users in developing new machine learning applications. Most approaches for this problem rely on dataset meta-features and landmarking performances to capture the salient topology of the datasets and those topologies that the algorithms attend to. Landmarking usually exploits cheap algorithms not necessarily in the pool of candidate algorithms to get inexpensive approximations of the topology. While somewhat indicative, handcrafted dataset meta-features and landmarks are likely insufficient descriptors, strongly depending on the alignment of the geometries the landmarks and candidates search for. We propose IMFAS, a method to exploit multi-fidelity landmarking information directly from the candidate algorithms in the form of non-parametrically non-myopic meta-learned learning curves via LSTM networks in a few-shot setting during testing. Using this mechanism, IMFAS jointly learns the topology of of the datasets and the inductive biases of algorithms without expensively training them to convergence. IMFAS produces informative landmarks, easily enriched by arbitrary meta-features at a low computational cost, capable of producing the desired ranking using cheaper fidelities. We additionally show that it is able to beat Successive Halving with at most half the fidelity sequence during test time
• Abstract（参考訳）: 与えられたデータセットの最高のパフォーマンスアルゴリズムを自動選択するか、期待されるパフォーマンスで複数のアルゴリズムをランク付けするかは、新しい機械学習アプリケーションの開発においてユーザを支援します。 この問題に対するほとんどのアプローチは、データセットのメタ機能とランドマークのパフォーマンスに依存して、データセットとアルゴリズムが対応しているトポロジの突出したトポロジをキャプチャする。 ランドマークは通常、トポロジの安価な近似を得るために、必ずしも候補アルゴリズムのプールにない安価なアルゴリズムを利用する。 手作りのデータセットのメタ機能とランドマークは記述に不足している可能性が高いが、ランドマークと候補が検索するジオメトリのアライメントに強く依存している。 テスト中、LSTMネットワークを介して非パラメトリックなメタ学習曲線の形で、候補アルゴリズムから直接多要素ランドマーク情報を利用する方法であるIMFASを提案する。 このメカニズムを用いて、IMFASはデータセットのトポロジとアルゴリズムの帰納バイアスを、高価な訓練をすることなく、共同で学習する。 IMFASは、計算コストの低い任意のメタ機能によって容易に豊かになる情報的ランドマークを生成し、より安価なフィデリティを使用して望ましいランキングを作成できる。 また、テスト期間中に、ほぼ半分の忠実度シーケンスでSuccessive Halvingを破ることができることを示す。

関連論文リスト

• Meta-Learning from Learning Curves for Budget-Limited Algorithm Selection [11.409496019407067]
  予算制限のシナリオでは、アルゴリズム候補を慎重に選択し、それを訓練するための予算を割り当てることが不可欠である。 本稿では,エージェントが十分に訓練されるまで待たずに,最も有望なアルゴリズムを学習する過程において,エージェントが選択しなければならない新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:09:58Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。