論文の概要: Meta-Learning Neural Procedural Biases

• arxiv url: http://arxiv.org/abs/2406.07983v1
• Date: Wed, 12 Jun 2024 08:09:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:55:44.457722
• Title: Meta-Learning Neural Procedural Biases
• Title（参考訳）: メタラーニング型ニューラルプロシージャビアーゼ
• Authors: Christian Raymond, Qi Chen, Bing Xue, Mengjie Zhan,
• Abstract要約: 我々は、メタ学習タスクの手続きバイアスを考慮に入れた新しいフレームワークであるNeural Procedural Bias Meta-Learningを提案する。 ニューラルネットワークの手続き的バイアスをメタラーニングすることにより、学習タスクの分布に対して強い帰納的バイアスを生じさせ、よく確立された数発の学習ベンチマークで堅牢な学習性能を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 9.876317838854018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of few-shot learning is to generalize and achieve high performance on new unseen learning tasks, where each task has only a limited number of examples available. Gradient-based meta-learning attempts to address this challenging task by learning how to learn new tasks by embedding inductive biases informed by prior learning experiences into the components of the learning algorithm. In this work, we build upon prior research and propose Neural Procedural Bias Meta-Learning (NPBML), a novel framework designed to meta-learn task-adaptive procedural biases. Our approach aims to consolidate recent advancements in meta-learned initializations, optimizers, and loss functions by learning them simultaneously and making them adapt to each individual task to maximize the strength of the learned inductive biases. This imbues each learning task with a unique set of procedural biases which is specifically designed and selected to attain strong learning performance in only a few gradient steps. The experimental results show that by meta-learning the procedural biases of a neural network, we can induce strong inductive biases towards a distribution of learning tasks, enabling robust learning performance across many well-established few-shot learning benchmarks.
• Abstract（参考訳）: 少数ショット学習の目標は、新しい目に見えない学習タスクを一般化し、高いパフォーマンスを達成することであり、各タスクは限られた数のサンプルしか持たない。 グラディエントベースのメタ学習は、学習アルゴリズムのコンポーネントに事前学習の経験から得られる帰納的バイアスを埋め込むことで、新しいタスクの学習方法を学ぶことによって、この課題に対処しようとする。 本研究では,従来の研究に基づいて,タスク適応型手続きバイアスをメタ学習するための新しいフレームワークであるNural Procedural Bias Meta-Learning (NPBML)を提案する。 本研究の目的は,メタ学習の初期化,最適化,損失関数を同時に学習し,各タスクに適応させ,学習した帰納バイアスの強度を最大化させることである。 これにより、各学習タスクに固有の手続きバイアスのセットを付与し、わずか数ステップで強力な学習性能を達成できるように特別に設計され、選択される。 実験結果から,ニューラルネットワークの手続き的バイアスをメタラーニングすることにより,学習タスクの分布に対して強い帰納的バイアスを生じさせることで,十分に確立された数発の学習ベンチマークにおける堅牢な学習性能を実現することができることが示された。

関連論文リスト

• Discovering Temporally-Aware Reinforcement Learning Algorithms [42.016150906831776]
  既存の2つの目的発見アプローチに簡単な拡張を提案する。 一般的に使用されるメタ段階的アプローチは適応的目的関数の発見に失敗する。
  論文  参考訳（メタデータ） (2024-02-08T17:07:42Z)
• Subspace Adaptation Prior for Few-Shot Learning [5.2997197698288945]
  Subspace Adaptation Priorは、勾配に基づく新しいメタ学習アルゴリズムである。 SAPは, 画像分類設定において, 優位性, 競争性に優れることを示す。
  論文  参考訳（メタデータ） (2023-10-13T11:40:18Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
  非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
  論文  参考訳（メタデータ） (2021-11-02T01:50:09Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。