論文の概要: Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided
Exploration for Mitigating Scale Shift on Combinatorial Optimization
- arxiv url: http://arxiv.org/abs/2306.02688v2
- Date: Wed, 7 Jun 2023 05:30:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 10:56:55.525910
- Title: Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided
Exploration for Mitigating Scale Shift on Combinatorial Optimization
- Title（参考訳）: meta-sage: 組合せ最適化のスケールシフトを緩和するためのガイド探索によるスケールメタラーニングスケジュール適応
- Authors: Jiwoo Son, Minsu Kim, Hyeonah Kim, Jinkyoo Park
- Abstract要約: 本稿では,COタスクのための深層強化学習モデルのスケーラビリティ向上のための新しいアプローチを提案する。
提案手法は,大規模メタラーナーとガイド付き探索(SAGE)によるスケジュール適応の2つのコンポーネントを提案することによって,事前学習したモデルをテスト時間における大規模問題に適用する。
その結果,Meta-SAGEは従来の適応手法よりも優れており,COタスクのスケーラビリティが著しく向上していることがわかった。
- 参考スコア（独自算出の注目度）: 13.54697305625963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes Meta-SAGE, a novel approach for improving the scalability
of deep reinforcement learning models for combinatorial optimization (CO)
tasks. Our method adapts pre-trained models to larger-scale problems in test
time by suggesting two components: a scale meta-learner (SML) and scheduled
adaptation with guided exploration (SAGE). First, SML transforms the context
embedding for subsequent adaptation of SAGE based on scale information. Then,
SAGE adjusts the model parameters dedicated to the context embedding for a
specific instance. SAGE introduces locality bias, which encourages selecting
nearby locations to determine the next location. The locality bias gradually
decays as the model is adapted to the target instance. Results show that
Meta-SAGE outperforms previous adaptation methods and significantly improves
scalability in representative CO tasks. Our source code is available at
https://github.com/kaist-silab/meta-sage
- Abstract（参考訳）: 本稿では,組合せ最適化(CO)タスクのための深層強化学習モデルのスケーラビリティ向上のためのメタSAGEを提案する。
提案手法は,SML (Scale Meta-Learner) とSAGE ( Guided Exploring) の2つのコンポーネントを提案することによって,事前学習したモデルに大規模に適応する。
まず、SMLは、SAGEのその後の適応のためのコンテキスト埋め込みをスケール情報に基づいて変換する。
次に、SAGEは特定のインスタンスに対するコンテキスト埋め込み専用のモデルパラメータを調整する。
SAGEは局所バイアスを導入し、近くの場所を選択して次の場所を決定する。
モデルが対象のインスタンスに適応されると、局所バイアスは徐々に減少する。
その結果,メタセージは従来の適応手法よりも優れており,代表的coタスクのスケーラビリティが著しく向上した。
私たちのソースコードはhttps://github.com/kaist-silab/meta-sageで利用可能です。
関連論文リスト
- Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。
ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
論文 参考訳（メタデータ） (2023-03-29T12:28:01Z) - Adaptive Meta-learner via Gradient Similarity for Few-shot Text
Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。
いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文 参考訳（メタデータ） (2022-09-10T16:14:53Z) - Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。
潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。
本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
論文 参考訳（メタデータ） (2021-03-16T12:53:09Z) - Robust MAML: Prioritization task buffer with adaptive learning process
for model-agnostic meta-learning [15.894925018423665]
モデル非依存メタラーニング(MAML)は、最先端のメタラーニングアルゴリズムである。
本稿では適応型学習方式と優先順位付けタスクバッファに基づくより堅牢なMAMLを提案する。
メタ強化学習環境の実験結果は、実質的なパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2021-03-15T09:34:34Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。
高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文 参考訳（メタデータ） (2020-10-31T08:05:34Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z) - Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。
提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。
推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文 参考訳（メタデータ） (2020-04-26T16:48:17Z) - Curriculum in Gradient-Based Meta-Reinforcement Learning [10.447238563837173]
勾配に基づくメタラーナーはタスク分布に敏感であることを示す。
間違ったカリキュラムでは、エージェントはメタオーバーフィッティング、浅い適応、適応不安定の影響を被る。
論文 参考訳（メタデータ） (2020-02-19T01:40:45Z) - Improving Few-shot Learning by Spatially-aware Matching and
CrossTransformer [116.46533207849619]
数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。
本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
論文 参考訳（メタデータ） (2020-01-06T14:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。