論文の概要: Beyond Any-Shot Adaptation: Predicting Optimization Outcome for Robustness Gains without Extra Pay
- arxiv url: http://arxiv.org/abs/2501.11039v3
- Date: Sun, 16 Feb 2025 08:38:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:03:50.790737
- Title: Beyond Any-Shot Adaptation: Predicting Optimization Outcome for Robustness Gains without Extra Pay
- Title（参考訳）: Any-Shot Adaptationを超えて: 余分な支払いなしでロバストなゲインの最適化結果を予測する
- Authors: Qi Cheems Wang, Zehao Xiao, Yixiu Mao, Yun Qu, Jiayi Shen, Yiqin Lv, Xiangyang Ji,
- Abstract要約: 本稿では,モデル予測タスクサンプリング(MPTS)を提案し,タスク空間と適応リスクランドスケープの関連性を確立する。
MPTSは、タスクエピソード情報を生成モデルで特徴付け、後部推論からタスク固有の適応リスク値を直接予測する。
MPTSはゼロショット、少数ショット、多ショット学習パラダイムにシームレスに統合できる。
- 参考スコア（独自算出の注目度）: 46.92143725900031
- License:
- Abstract: The foundation model enables general-purpose problem-solving and enjoys desirable rapid adaptation due to its adopted cross-task generalization paradigms, e.g., pretraining, meta-training, and finetuning. Recent advances in these paradigms show the crucial role of challenging tasks' prioritized sampling in enhancing adaptation robustness. However, ranking task difficulties exhausts massive task queries to evaluate, thus computation and annotation intensive, which is typically unaffordable in practice. This work underscores the criticality of both adaptation robustness and learning efficiency, especially in scenarios where tasks are risky or costly to evaluate, e.g., policy evaluations in Markov decision processes (MDPs) or inference with large models. To this end, we present Model Predictive Task Sampling (MPTS) to establish connections between the task space and adaptation risk landscape to form a theoretical guideline in robust active task sampling. MPTS characterizes the task episodic information with a generative model and directly predicts task-specific adaptation risk values from posterior inference. The developed risk learner can amortize expensive evaluation and provably approximately rank task difficulties in the pursuit of task robust adaptation. MPTS can be seamlessly integrated into zero-shot, few-shot, and many-shot learning paradigms. Extensive experimental results are conducted to exhibit the superiority of the proposed framework, remarkably increasing task adaptation robustness and retaining learning efficiency in contrast to existing state-of-the-art (SOTA) methods. The code is available at the project site https://github.com/thu-rllab/MPTS.
- Abstract（参考訳）: 基礎モデルは、汎用的な問題解決を可能にし、クロスタスクの一般化パラダイム(例えば、事前学習、メタトレーニング、微調整)が採用されているため、望ましい迅速な適応を享受する。
これらのパラダイムの最近の進歩は、適応ロバスト性を高める上で、課題の優先順位付けされたサンプリングが重要な役割を担っていることを示している。
しかし、ランク付けタスクの難しさは、評価する膨大なタスククエリを欠いているため、計算とアノテーションが集中的に行われる。
この研究は、特に、マルコフ決定プロセス(MDP)における政策評価や、大規模モデルによる推論といった、タスクの評価にリスクやコストがかかるシナリオにおいて、適応ロバスト性と学習効率の両面での批判性を強調している。
この目的のために,モデル予測タスクサンプリング(MPTS)を提案し,タスク空間と適応リスクランドスケープとの接続を確立することにより,ロバストなアクティブタスクサンプリングにおける理論的ガイドラインを形成する。
MPTSは、タスクエピソード情報を生成モデルで特徴付け、後部推論からタスク固有の適応リスク値を直接予測する。
開発したリスク学習者は、タスクロバスト適応の追求において、高価な評価を減らし、確実に約1ランクのタスク困難を解消することができる。
MPTSはゼロショット、少数ショット、多ショット学習パラダイムにシームレスに統合できる。
提案手法の優位性, タスク適応性の向上, 学習効率の維持について, 従来のSOTA法と対比して検討した。
コードはプロジェクトサイトhttps://github.com/thu-rllab/MPTSで公開されている。
関連論文リスト
- Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search [36.14499894307206]
本稿では,現在のタスクに関する情報を取得する必要性と,将来的なタスクに伝達可能な情報を集めることのバランスをとる新しい情報理論獲得機能を提案する。
提案手法は,十分なタスク数を処理すると,最適化効率を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2024-03-14T17:00:01Z) - Adaptive scheduling for adaptive sampling in POS taggers construction [0.27624021966289597]
音声タグ作成における機械学習の新たな手法として適応的サンプリングのための適応的スケジューリングを提案する。
本研究では,関数モデルとともに幾何学的に学習曲線の形状を分析し,任意のタイミングで学習曲線を増減する。
また,評価の一時的なインフレーションを受けるトレーニングデータベースの領域に注意を払い,サンプリングの堅牢性も向上する。
論文 参考訳（メタデータ） (2024-02-04T15:02:17Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Meta-Reinforcement Learning Based on Self-Supervised Task Representation
Learning [23.45043290237396]
MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。
MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
論文 参考訳（メタデータ） (2023-04-29T15:46:19Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T17:59:16Z) - Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。
タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。
メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
論文 参考訳（メタデータ） (2021-10-26T22:16:35Z) - Robust MAML: Prioritization task buffer with adaptive learning process
for model-agnostic meta-learning [15.894925018423665]
モデル非依存メタラーニング(MAML)は、最先端のメタラーニングアルゴリズムである。
本稿では適応型学習方式と優先順位付けタスクバッファに基づくより堅牢なMAMLを提案する。
メタ強化学習環境の実験結果は、実質的なパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2021-03-15T09:34:34Z) - Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
モデルに基づく対向メタ強化学習(AdMRL)を提案する。
AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。
本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
論文 参考訳（メタデータ） (2020-06-16T02:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。