論文の概要: Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation

• arxiv url: http://arxiv.org/abs/2407.19523v2
• Date: Thu, 17 Oct 2024 10:27:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 14:27:29.752867
• Title: Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation
• Title（参考訳）: 対話型タスク分散生成からのロバストな高速適応
• Authors: Cheems Wang, Yiqin Lv, Yixiu Mao, Yun Qu, Yi Xu, Xiangyang Ji,
• Abstract要約: タスク識別子上に配置されたタスク分布を明示的に生成する。 我々は、敵の訓練から高速適応を強固にすることを提案する。 この研究は、特にメタラーニングにおけるタスク分散シフトを扱う際に、実践的な意味を持っている。
• 参考スコア（独自算出の注目度）: 45.568230152488276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning is a practical learning paradigm to transfer skills across tasks from a few examples. Nevertheless, the existence of task distribution shifts tends to weaken meta-learners' generalization capability, particularly when the task distribution is naively hand-crafted or based on simple priors that fail to cover typical scenarios sufficiently. Here, we consider explicitly generative modeling task distributions placed over task identifiers and propose robustifying fast adaptation from adversarial training. Our approach, which can be interpreted as a model of a Stackelberg game, not only uncovers the task structure during problem-solving from an explicit generative model but also theoretically increases the adaptation robustness in worst cases. This work has practical implications, particularly in dealing with task distribution shifts in meta-learning, and contributes to theoretical insights in the field. Our method demonstrates its robustness in the presence of task subpopulation shifts and improved performance over SOTA baselines in extensive experiments. The project is available at https://sites.google.com/view/ar-metalearn.
• Abstract（参考訳）: メタラーニングは、いくつかの例からタスク間でスキルを伝達する実践的な学習パラダイムである。 それにもかかわらず、タスク分布シフトの存在はメタ学習者の一般化能力を弱める傾向にあり、特にタスク分布が手作業で手作りされている場合や、典型的なシナリオを十分にカバーできない単純な事前に基づいている場合である。 本稿では,タスク識別子上に配置されたタスク分布を明示的に生成するタスク分布について考察する。 我々のアプローチは、スタックルバーグゲームのモデルとして解釈できるが、明示的な生成モデルから問題解決時のタスク構造を明らかにするだけでなく、最悪の場合の適応ロバスト性も理論的に増大させる。 この研究は、特にメタラーニングにおけるタスク分散シフトの扱いにおいて実践的な意味を持ち、この分野の理論的洞察に寄与する。 本手法は,タスクサブポピュレーションシフトの存在下でのロバスト性を実証し,大規模な実験においてSOTAベースラインよりも高い性能を示した。 このプロジェクトはhttps://sites.google.com/view/ar-metalearn.comで入手できる。

関連論文リスト

• Beyond Any-Shot Adaptation: Predicting Optimization Outcome for Robustness Gains without Extra Pay [46.92143725900031]
  本稿では,モデル予測タスクサンプリング(MPTS)を提案し,タスク空間と適応リスクランドスケープの関連性を確立する。 MPTSは、タスクエピソード情報を生成モデルで特徴付け、後部推論からタスク固有の適応リスク値を直接予測する。 MPTSはゼロショット、少数ショット、多ショット学習パラダイムにシームレスに統合できる。
  論文  参考訳（メタデータ） (2025-01-19T13:14:53Z)
• Task Vectors in In-Context Learning: Emergence, Formation, and Benefit [17.72043522825441]
  合成データセットをスクラッチから学習したモデルを用いて, 制御された環境下でのタスクベクトルの生成について検討した。 その結果,特定の条件下ではタスクベクトルが自然に現れることが確認できたが,タスクは比較的弱く,あるいは非局所的にモデル内にコード化されている可能性がある。 モデル内の所定位置に符号化された強いタスクベクトルを促進するために,損失を促すタスクベクトルに基づく補助的なトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2025-01-16T01:54:23Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
  メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。 メタ学習のベンチマークとしてチャネル符号化問題を提案する。 このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-15T19:37:43Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
  そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-13T08:49:00Z)
• Meta Adaptation using Importance Weighted Demonstrations [19.37671674146514]
  エージェントが新しいタスクを推測することが困難である場合も少なくない。 本稿では,特定のタスクの集合に関する事前知識を活用することで,関連するタスクを一般化する新しいアルゴリズムを提案する。 環境タスクの多様性からロボットを訓練し、目に見えない環境に適応できる実験を行った。
  論文  参考訳（メタデータ） (2019-11-23T07:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。