論文の概要: Meta-Learning with MAML on Trees

• arxiv url: http://arxiv.org/abs/2103.04691v1
• Date: Mon, 8 Mar 2021 11:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 18:41:59.775460
• Title: Meta-Learning with MAML on Trees
• Title（参考訳）: ツリー上のMMLによるメタラーニング
• Authors: Jezabel R. Garcia, Federica Freddi, Feng-Ting Liao, Jamie McGowan, Tim Nieradzik, Da-shan Shiu, Ye Tian, Alberto Bernacchia
• Abstract要約: 本研究は,階層的タスク関係を利用して,モデルメタ学習モデルであるMAMLを拡張した。 提案アルゴリズムであるTreeMAMLは,各タスクにいくつかのステップでモデルを適応させるが,適応は階層木構造に従う。 ここでは,タスク構造が階層的である場合,TreeMAMLはMAMLよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 2.6650151787980336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In meta-learning, the knowledge learned from previous tasks is transferred to new ones, but this transfer only works if tasks are related. Sharing information between unrelated tasks might hurt performance, and it is unclear how to transfer knowledge across tasks with a hierarchical structure. Our research extends a model agnostic meta-learning model, MAML, by exploiting hierarchical task relationships. Our algorithm, TreeMAML, adapts the model to each task with a few gradient steps, but the adaptation follows the hierarchical tree structure: in each step, gradients are pooled across tasks clusters, and subsequent steps follow down the tree. We also implement a clustering algorithm that generates the tasks tree without previous knowledge of the task structure, allowing us to make use of implicit relationships between the tasks. We show that the new algorithm, which we term TreeMAML, performs better than MAML when the task structure is hierarchical for synthetic experiments. To study the performance of the method in real-world data, we apply this method to Natural Language Understanding, we use our algorithm to finetune Language Models taking advantage of the language phylogenetic tree. We show that TreeMAML improves the state of the art results for cross-lingual Natural Language Inference. This result is useful, since most languages in the world are under-resourced and the improvement on cross-lingual transfer allows the internationalization of NLP models. This results open the window to use this algorithm in other real-world hierarchical datasets.
• Abstract（参考訳）: メタラーニングでは、以前のタスクから学んだ知識は新しいタスクに転送されますが、この転送はタスクが関連している場合にのみ機能します。 非関連タスク間の情報共有はパフォーマンスを損なう可能性があり、階層構造を持つタスク間での知識の転送方法が不明確である。 本研究では,階層的タスク関係を活用し,モデル非依存なメタ学習モデルであるmamlを拡張した。 私たちのアルゴリズムであるtreemamlは、いくつかの勾配ステップで各タスクにモデルを適用するが、適応は階層的なツリー構造に従っている。 また,タスク構造を事前に知ることなくタスクツリーを生成するクラスタリングアルゴリズムを実装し,タスク間の暗黙的な関係性の利用を可能にした。 我々がTreeMAMLと呼ぶ新しいアルゴリズムは、タスク構造が合成実験のために階層的である場合、MDLよりも優れたパフォーマンスを発揮します。 本研究では,本手法を自然言語理解に適用し,言語系統木を利用して言語モデルを微調整する手法を提案する。 TreeMAMLは,言語間自然言語推論におけるアート結果の状態を向上することを示す。 世界のほとんどの言語はリソース不足であり、言語間移動の改善はNLPモデルの国際化を可能にしているため、この結果は有用である。 この結果は、このアルゴリズムを他の現実世界の階層的データセットで使用するためのウィンドウを開く。

関連論文リスト

• Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models [22.676688441884465]
  タスクの多種多様な配列で訓練済みの大規模言語モデル(LLM)を微調整することが、モデル構築の一般的なアプローチとなっている。 本研究では,事前学習したLLMに符号化されたタスク固有情報と,その表現に対する指導指導の効果について検討する。
  論文  参考訳（メタデータ） (2024-10-25T23:38:28Z)
• ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
  ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。 我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-08T12:22:10Z)
• Tree Prompting: Efficient Task Adaptation without Fine-Tuning [112.71020326388029]
  Tree Promptingはプロンプトの決定ツリーを構築し、複数のLMコールをリンクしてタスクを解決する。 分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。
  論文  参考訳（メタデータ） (2023-10-21T15:18:22Z)
• Alphazero-like Tree-Search can Guide Large Language Model Decoding and Training [37.79247073276239]
  ToT(Tree-of-Thought)やRAP(Reasoning via Planning)といった最近の研究は、LLMの推論能力を強化することを目的としている。 LLMのためのAlphaZeroライクな木探索学習フレームワーク(TS-LLM)を提案する。 学習価値関数を用いた木探索がLLM復号を導出する方法を示す。
  論文  参考訳（メタデータ） (2023-09-29T12:20:19Z)
• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Tree Structure-Aware Few-Shot Image Classification via Hierarchical Aggregation [27.868736254566397]
  我々は、プレテキストタスクを通して、数ショットの画像分類のための追加の特徴表現を学習する方法に焦点をあてる。 この追加の知識は、数発の学習のパフォーマンスをさらに向上させることができる。 本稿では,FSLとプレテキストタスクの関係を学習する階層木構造認識(HTS)手法を提案する。
  論文  参考訳（メタデータ） (2022-07-14T15:17:19Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。