論文の概要: Theoretical Investigations and Practical Enhancements on Tail Task Risk Minimization in Meta Learning

• arxiv url: http://arxiv.org/abs/2410.22788v1
• Date: Wed, 30 Oct 2024 08:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:04.361102
• Title: Theoretical Investigations and Practical Enhancements on Tail Task Risk Minimization in Meta Learning
• Title（参考訳）: メタ学習におけるタスクリスク最小化に関する理論的検討と実践的改善
• Authors: Yiqin Lv, Qi Wang, Dong Liang, Zheng Xie,
• Abstract要約: 近年, 高速適応ロバスト性向上におけるテールタスクリスク最小化の有効性について検討している。 我々は、分布的ロバストな戦略を極小最適化問題に還元し、解の概念としてスタックルバーグ均衡を構成し、収束率を推定する。
• 参考スコア（独自算出の注目度）: 9.399647354904026
• License:
• Abstract: Meta learning is a promising paradigm in the era of large models and task distributional robustness has become an indispensable consideration in real-world scenarios. Recent advances have examined the effectiveness of tail task risk minimization in fast adaptation robustness improvement \citep{wang2023simple}. This work contributes to more theoretical investigations and practical enhancements in the field. Specifically, we reduce the distributionally robust strategy to a max-min optimization problem, constitute the Stackelberg equilibrium as the solution concept, and estimate the convergence rate. In the presence of tail risk, we further derive the generalization bound, establish connections with estimated quantiles, and practically improve the studied strategy. Accordingly, extensive evaluations demonstrate the significance of our proposal and its scalability to multimodal large models in boosting robustness.
• Abstract（参考訳）: メタラーニングは大規模モデルの時代において有望なパラダイムであり、タスク分布の堅牢性は現実のシナリオにおいて不可欠に考慮されている。 近年, 高速適応ロバストネス向上におけるタスクリスク最小化の有効性について検討している。 この研究は、この分野におけるより理論的な研究と実践的な拡張に寄与している。 具体的には、分布的ロバストな戦略を極小最適化問題に還元し、解の概念としてスタックルバーグ均衡を構成し、収束率を推定する。 テールリスクの存在下では、さらに一般化境界を導出し、推定された定量値との接続を確立し、研究された戦略を実践的に改善する。 そこで,提案手法の意義と,頑健性向上におけるマルチモーダル大モデルへの拡張性について,広範な評価を行った。

関連論文リスト

• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Investigating the Impact of Quantization on Adversarial Robustness [22.637585106574722]
  量子化は、ディープモデルのビット幅を減らし、実行時のパフォーマンスとストレージ効率を改善する技術である。 現実のシナリオでは、量子化されたモデルは、しばしば逆攻撃に直面する。 我々は、ロバストな最適化を組み込むことのできる量子化パイプラインコンポーネントの影響を、初めて分析する。
  論文  参考訳（メタデータ） (2024-04-08T16:20:15Z)
• Diversity-Aware Agnostic Ensemble of Sharpness Minimizers [24.160975100349376]
  深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。 我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-19T23:50:11Z)
• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm [16.159983226725565]
  本稿では,ある確率レベルで最悪の適応ケースを制御するための2段階戦略を提案する。 実験結果から,本手法はタスク分布に対するメタラーニングの堅牢性を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-01T15:54:45Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Latent State Marginalization as a Low-cost Approach for Improving Exploration [79.12247903178934]
  我々はMaxEntフレームワークにおける潜在変数ポリシーの採用を提案する。 我々は、潜在変数ポリシーが、潜在信念状態を持つ世界モデルの下で自然に現れることを示す。 提案手法を連続制御タスクに対して実験的に検証し, 有効限界化がよりよい探索とより堅牢な訓練につながることを示した。
  論文  参考訳（メタデータ） (2022-10-03T15:09:12Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
  反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。 逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。 本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-18T14:55:55Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。