論文の概要: Meta-aprendizado para otimizacao de parametros de redes neurais

• arxiv url: http://arxiv.org/abs/2109.13745v1
• Date: Sat, 10 Jul 2021 15:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 21:58:24.408637
• Title: Meta-aprendizado para otimizacao de parametros de redes neurais
• Title（参考訳）: 好中球のメタ・アプレンジザド・パラオシミザカオ・デ・パラメトロス
• Authors: Tarsicio Lucas, Teresa Ludermir, Ricardo Prudencio, Carlos Soares
• Abstract要約: ANNの最適化におけるメタラーニングの利用について検討した。 ネットワークの隠れノード数を選択するためにメタラーニングを用いたケーススタディを行った。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The optimization of Artificial Neural Networks (ANNs) is an important task to the success of using these models in real-world applications. The solutions adopted to this task are expensive in general, involving trial-and-error procedures or expert knowledge which are not always available. In this work, we investigated the use of meta-learning to the optimization of ANNs. Meta-learning is a research field aiming to automatically acquiring knowledge which relates features of the learning problems to the performance of the learning algorithms. The meta-learning techniques were originally proposed and evaluated to the algorithm selection problem and after to the optimization of parameters for Support Vector Machines. However, meta-learning can be adopted as a more general strategy to optimize ANN parameters, which motivates new efforts in this research direction. In the current work, we performed a case study using meta-learning to choose the number of hidden nodes for MLP networks, which is an important parameter to be defined aiming a good networks performance. In our work, we generated a base of meta-examples associated to 93 regression problems. Each meta-example was generated from a regression problem and stored: 16 features describing the problem (e.g., number of attributes and correlation among the problem attributes) and the best number of nodes for this problem, empirically chosen from a range of possible values. This set of meta-examples was given as input to a meta-learner which was able to predict the best number of nodes for new problems based on their features. The experiments performed in this case study revealed satisfactory results.
• Abstract（参考訳）: ANN(Artificial Neural Networks)の最適化は,これらのモデルを現実のアプリケーションで使用する上で重要な課題である。 このタスクに採用されるソリューションは一般的に高価であり、試行錯誤手順や専門家の知識が常に利用できるわけではない。 本研究では,ANNの最適化にメタラーニングを用いることを検討した。 メタ学習は,学習問題の特徴と学習アルゴリズムの性能を関連付ける知識の自動獲得を目的とした研究分野である。 メタラーニング手法は,元来アルゴリズム選択問題に対して提案され,その後に支援ベクトルマシンのパラメータの最適化を行った。 しかし、メタラーニングは、ANNパラメータを最適化するためのより一般的な戦略として採用され、この研究の方向性における新たな取り組みの動機となっている。 本研究では,mlpネットワークにおける隠れノード数をメタラーニングを用いて選択するケーススタディを行った。 本研究では,93の回帰問題に関連するメタサンプルを作成した。 それぞれのメタサンプルは回帰問題から生成され、格納される: 問題を記述する16の特徴(例えば、問題属性の属性の数と相関)と、可能な範囲から実験的に選択されたこの問題のノードの最大数。 この一連のメタサンプルはmeta-learnerへの入力として与えられ、その特徴に基づいて新しい問題に対して最適なノード数を予測することができた。 実験の結果, 良好な結果が得られた。

関連論文リスト

• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)
• Modeling and Optimization Trade-off in Meta-learning [23.381986209234164]
  メタラーニングにおいて、正確なモデリングと容易さのトレードオフを導入し、厳密に定義する。 我々はMAMLを代表的メタラーニングアルゴリズムとして、一般的な非リスク関数と線形回帰のトレードオフを理論的に特徴づける。 また,メタ強化学習ベンチマークのトレードオフを実証的に解決する。
  論文  参考訳（メタデータ） (2020-10-24T15:32:08Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Guarantees for Tuning the Step Size using a Learning-to-Learn Approach [18.838453594698166]
  ステップサイズを2次的損失に調整する簡単な問題に対して、学習から学習までのアプローチに対してメタ最適化を保証する。 メタ・グラディエント・オブジェクトを設計してメタ・グラディエントを束縛したままにしておく方法はあるが、バックプロパゲーションを用いて直接メタ・グラディエントを計算すれば、数値的な問題が発生する。 また,メタオブジェクトを別個の検証セットで計算し,学習性能を確保する必要がある場合の特徴付けを行う。
  論文  参考訳（メタデータ） (2020-06-30T02:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。