論文の概要: Improved Compositional Generalization by Generating Demonstrations for Meta-Learning

• arxiv url: http://arxiv.org/abs/2305.13092v1
• Date: Mon, 22 May 2023 14:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 15:17:09.561799
• Title: Improved Compositional Generalization by Generating Demonstrations for Meta-Learning
• Title（参考訳）: メタラーニングのためのデモ生成による構成一般化の改善
• Authors: Sam Spilsbury, Alexander Ilin
• Abstract要約: 従来未解決であった構成動作分割に対して,他の分割に対する性能の損失を伴わずに,大幅な性能向上を示す。 この場合、オラクル関数でさえも関連する実演を探すことは、メタラーニングを使用する際には十分な性能を得るには不十分である。
• 参考スコア（独自算出の注目度）: 81.38804205212425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning and few-shot prompting are viable methods to induce certain types of compositional behaviour. However, these methods can be very sensitive to the choice of support examples used. Choosing good supports from the training data for a given test query is already a difficult problem, but in some cases solving this may not even be enough. We consider a grounded language learning problem (gSCAN) where good support examples for certain test splits might not even exist in the training data, or would be infeasible to search for. We design an agent which instead generates possible supports which are relevant to the test query and current state of the world, then uses these supports via meta-learning to solve the test query. We show substantially improved performance on a previously unsolved compositional behaviour split without a loss of performance on other splits. Further experiments show that in this case, searching for relevant demonstrations even with an oracle function is not sufficient to attain good performance when using meta-learning.
• Abstract（参考訳）: メタラーニングと少数ショットプロンプトは、ある種の構成行動を引き起こす実行可能な方法である。 しかし、これらの手法は、使用するサポート例の選択に非常に敏感である。 与えられたテストクエリのトレーニングデータからよいサポートを選択することは、すでに難しい問題ですが、いくつかのケースでは、これを解決するだけでは不十分です。 特定のテスト分割に対する優れたサポート例がトレーニングデータに存在しない、あるいは検索が不可能な、基礎言語学習問題(gSCAN)を考える。 テストクエリと現在の世界の状態に関連する可能なサポートを生成するエージェントを設計し、メタラーニングを通じてこれらのサポートを使用してテストクエリを解決する。 従来未解決であった構成動作分割に対して,他の分割に対する性能の損失を伴わずに大幅な性能向上を示す。 さらなる実験により、このケースでは、オラクル関数でさえ関連する実演を探すだけでは、メタラーニングの際の優れた性能を得るには不十分であることが示されている。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
  インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
  論文  参考訳（メタデータ） (2024-01-21T23:34:42Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning [14.720411598827365]
  各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。 列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。 サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
  論文  参考訳（メタデータ） (2021-06-29T17:59:33Z)
• Does My Representation Capture X? Probe-Ably [2.624902795082451]
  探索(または診断分類)は、与えられた中間機能のセットが神経モデルの表現に存在するかどうかを調べるための一般的な戦略となっている。 Probe-Ably: ユーザーの入力に対するプロービングメソッドの適用をサポートし、自動化する拡張可能なプロービングフレームワークです。
  論文  参考訳（メタデータ） (2021-04-12T20:43:10Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Is Support Set Diversity Necessary for Meta-Learning? [14.231486872262531]
  本稿では,タスク間のサポートセットを固定し,タスクの多様性を低減させる,従来のメタ学習手法の修正を提案する。 驚いたことに、この修正は悪影響をもたらすだけでなく、さまざまなデータセットやメタ学習手法のパフォーマンスをほぼ常に向上させる。
  論文  参考訳（メタデータ） (2020-11-28T02:28:42Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。