論文の概要: Neuromodulated Meta-Learning

• arxiv url: http://arxiv.org/abs/2411.06746v1
• Date: Mon, 11 Nov 2024 06:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:08:28.978948
• Title: Neuromodulated Meta-Learning
• Title（参考訳）: ニューロ変調メタラーニング
• Authors: Jingyao Wang, Huijie Guo, Wenwen Qiang, Jiangmeng Li, Changwen Zheng, Hui Xiong, Gang Hua,
• Abstract要約: メタ学習におけるフレキシブルネットワーク構造(FNS)の役割について検討する。 FNSはメタ学習を保証し、各タスクに最適な構造を生成する。 メタ学習におけるFNSをモデル化するためのNeuromodulated Meta-Learning(NeuronML)を提案する。
• 参考スコア（独自算出の注目度）: 36.26198622385552
• License:
• Abstract: Humans excel at adapting perceptions and actions to diverse environments, enabling efficient interaction with the external world. This adaptive capability relies on the biological nervous system (BNS), which activates different brain regions for distinct tasks. Meta-learning similarly trains machines to handle multiple tasks but relies on a fixed network structure, not as flexible as BNS. To investigate the role of flexible network structure (FNS) in meta-learning, we conduct extensive empirical and theoretical analyses, finding that model performance is tied to structure, with no universally optimal pattern across tasks. This reveals the crucial role of FNS in meta-learning, ensuring meta-learning to generate the optimal structure for each task, thereby maximizing the performance and learning efficiency of meta-learning. Motivated by this insight, we propose to define, measure, and model FNS in meta-learning. First, we define that an effective FNS should possess frugality, plasticity, and sensitivity. Then, to quantify FNS in practice, we present three measurements for these properties, collectively forming the \emph{structure constraint} with theoretical supports. Building on this, we finally propose Neuromodulated Meta-Learning (NeuronML) to model FNS in meta-learning. It utilizes bi-level optimization to update both weights and structure with the structure constraint. Extensive theoretical and empirical evaluations demonstrate the effectiveness of NeuronML on various tasks. Code is publicly available at \href{https://github.com/WangJingyao07/NeuronML}{https://github.com/WangJingyao07/NeuronML}.
• Abstract（参考訳）: 人間は知覚と行動の多様な環境への適応に優れ、外界との効率的な相互作用を可能にする。 この適応能力は、異なるタスクのために異なる脳領域を活性化する生物学的神経系(BNS)に依存している。 メタラーニングも同様に、マシンに複数のタスクを処理するように訓練するが、BNSほど柔軟ではない、固定されたネットワーク構造に依存している。 メタラーニングにおけるフレキシブルネットワーク構造 (FNS) の役割を解明するために, モデル性能が構造に結びついており, タスク全体にわたって最適なパターンが存在しないことを発見した。 これにより、メタ学習におけるFNSの重要な役割を明らかにし、メタ学習が各タスクに最適な構造を生成することを保証することにより、メタ学習の性能と学習効率を最大化する。 この知見に刺激され、メタラーニングにおけるFNSを定義し、測定し、モデル化することを提案する。 まず、有効なFNSは、靭性、可塑性、感度を有するべきであると定義する。 そして、実際にFNSを定量化するために、これらの特性の3つの測定結果を示し、理論的な支持を伴う 'emph{structure constraint} を集合的に形成する。 そこで我々は最終的に,FNSをメタラーニングでモデル化するためのNeuromodulated Meta-Learning (NeuronML)を提案する。 重みと構造の両方を構造制約で更新するために、二段階最適化を利用する。 広範囲な理論的および経験的評価は、様々なタスクにおけるNeuronMLの有効性を示す。 コードは \href{https://github.com/WangJingyao07/NeuronML}{https://github.com/WangJingyao07/NeuronML} で公開されている。

関連論文リスト

• Learning Universal Predictors [23.18743879588599]
  メタラーニングを限界まで活用することで、最も強力な普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに記憶させる可能性を探る。 我々はUniversal Turing Machines (UTM) を用いて、幅広いパターンにネットワークを公開するトレーニングデータを生成する。 この結果から,UTMデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習可能なニューラルネットワークのトレーニングに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-26T15:37:16Z)
• Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
  特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。 我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。 本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-21T08:15:55Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Transfering Hierarchical Structure with Dual Meta Imitation Learning [4.868214177205893]
  モデルに依存しないメタ学習を用いて,ハイレベルネットワークとサブスキルを反復的にメタ学習する階層的メタ模倣学習法を提案する。 そこで我々は,Meta-world citemetaworld ベンチマークによる最新の数発の模倣学習性能と,Kitchen 環境の長期タスクにおける競合結果を得た。
  論文  参考訳（メタデータ） (2022-01-28T08:22:38Z)
• End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
  ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-01T00:42:31Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Online Structured Meta-learning [137.48138166279313]
  現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。 この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。 3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
  論文  参考訳（メタデータ） (2020-10-22T09:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。