論文の概要: MTL2L: A Context Aware Neural Optimiser

• arxiv url: http://arxiv.org/abs/2007.09343v1
• Date: Sat, 18 Jul 2020 06:37:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:15:28.536344
• Title: MTL2L: A Context Aware Neural Optimiser
• Title（参考訳）: mtl2l : 文脈認識型ニューラルオプティマイザー
• Authors: Nicholas I-Hsien Kuo, Mehrtash Harandi, Nicolas Fourrier, Christian Walder, Gabriela Ferraro, Hanna Suominen
• Abstract要約: MTL2L(Multi-Task Learning to Learn)は、入力データに基づいて最適化ルールを自己修正する文脈認識型ニューラルネットワークオプティマイザである。 MTL2Lは,メタテストフェーズにおいて,未知の入力領域のデータに基づいて学習者の分類を更新できることを示す。
• 参考スコア（独自算出の注目度）: 25.114351877091785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to learn (L2L) trains a meta-learner to assist the learning of a task-specific base learner. Previously, it was shown that a meta-learner could learn the direct rules to update learner parameters; and that the learnt neural optimiser updated learners more rapidly than handcrafted gradient-descent methods. However, we demonstrate that previous neural optimisers were limited to update learners on one designated dataset. In order to address input-domain heterogeneity, we introduce Multi-Task Learning to Learn (MTL2L), a context aware neural optimiser which self-modifies its optimisation rules based on input data. We show that MTL2L is capable of updating learners to classify on data of an unseen input-domain at the meta-testing phase.
• Abstract（参考訳）: 学習学習(L2L)は、タスク固有のベースラーナーの学習を支援するメタラーナーを訓練する。 これまでは、メタ学習者が学習者のパラメータを更新するための直接的なルールを学習できること、そして学習した神経オプティマイザーが学習者を手作りの勾配変性法よりも迅速に更新できることが示されていた。 しかし,従来のニューラルオプティマイザは,指定されたデータセットの学習者の更新に限られていた。 入力領域の不均一性に対処するために、入力データに基づいて最適化ルールを自己修正するコンテキスト認識ニューラルネットワークオプティマイザーであるmulti-task learning to learn (mtl2l)を導入する。 MTL2Lはメタテストフェーズにおいて、未確認入力領域のデータに基づいて学習者の分類を更新できることを示す。

関連論文リスト

• Learning to Learn without Forgetting using Attention [5.6739565497512405]
  継続学習(きゅうがく、Continuous Learning, CL)とは、学習経験を維持しつつ、新たな知識を付加することで、時間とともに継続的に学習する能力である。 現在の機械学習手法は、以前に学んだパターンを上書きし、過去の経験を忘れやすい。 手作りの効果的な更新機構は難しいため,変圧器をベースとしたメタラーニングによるCLの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-06T14:25:23Z)
• Learning to optimize by multi-gradient for multi-objective optimization [0.0]
  我々はMOO問題を最適化するための新しい自動学習パラダイムを導入し、ML2O法を提案する。 学習に基づく手法として、ML2Oは現在のステップからの情報を活用することで、地域景観の知識を取得する。 我々の学習は、マルチタスク学習(MTL)ニューラルネットワークのトレーニングにおいて、手作りの競争相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-01T14:55:54Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Accelerating Gradient-based Meta Learner [2.1349209400003932]
  我々は,MAML (Model Agnostic Meta Learning) などのメタ学習アルゴリズムを高速化する様々なアクセラレーション手法を提案する。 本稿では,メタ学習プロセスの高速化だけでなく,モデルの精度向上にも寄与する,クラスタ内でのトレーニングタスクの新たな方法を提案する。
  論文  参考訳（メタデータ） (2021-10-27T14:27:36Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。