論文の概要: Amortized Low-Rank Adaptation for Model-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.12278v1
• Date: Thu, 10 Sep 2026 23:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.566813
• Title: Amortized Low-Rank Adaptation for Model-Based Reinforcement Learning
• Title（参考訳）: モデルに基づく強化学習のための償却低ランク適応
• Abstract要約: 世界モデルでは、エージェントは行動の結果を予測することで計画を立てるが、環境の変化はそれらを不正確なものにすることができる。 既存のアプローチでは、計算コストを表現性(すなわち、あるメソッドが生成できるモデルの範囲)と引き換えにしている。 本稿では、ハイパーネットワークを用いてテスト時にアダプタを生成することで、このトレードオフに対処するCLAWを提案する。
• 参考スコア（独自算出の注目度）: 49.3087425299849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models let agents plan by predicting the consequences of their actions, but changes in the environment can make them inaccurate. We study the problem of adapting a world model to an unknown test-time environment, drawn from a known environment family, using only a few episodes of interaction. Existing approaches trade off computational cost against expressivity, i.e., the range of models a method can produce. For example, in-context learning is computationally cheap but limited in expressivity, and gradient-based adaptation is expressive but computationally expensive. We present CLAW (Context-conditioned Low-rank Adaptation of World models), which addresses this tradeoff by using a hypernetwork to generate low-rank (LoRA) adapters at test time. During pretraining, we simulate adaptation to a variety of environments and jointly train the hypernetwork and base world model. At test time, we freeze the base model and use a forward pass of the hypernetwork to generate adapters from a small batch of test-time transitions. We evaluate CLAW in locomotion and manipulation environment families that vary in dynamics, embodiment, and reward. We show that, using only seconds of test-time data, CLAW outperforms gradient-based adaptation and in-context learning during online adaptation. We also show that CLAW avoids overfitting in data-scarce regimes, that its advantage comes from the expressive adapters rather than context conditioning, and that pretraining the hypernetwork jointly with the base model outperforms training it post hoc.
• Abstract（参考訳）: 世界モデルでは、エージェントは行動の結果を予測することで計画を立てるが、環境の変化はそれらを不正確なものにすることができる。 本研究では,世界モデルを未知のテスト時間環境に適応させる問題について,数エピソードのインタラクションを用いて検討する。 既存のアプローチでは、計算コストを表現性(すなわち、あるメソッドが生成できるモデルの範囲)と引き換えにしている。 例えば、文脈内学習は計算的に安価だが表現力に制限があり、勾配に基づく適応は表現力があるが計算的に高価である。 CLAW (Context-conditioned Low-rank Adaptation of World model) は、ハイパーネットワークを用いてテスト時にローランク (LoRA) アダプタを生成することで、このトレードオフに対処する。 プレトレーニング中、様々な環境への適応をシミュレートし、ハイパーネットワークとベースワールドモデルを共同で訓練する。 テスト時には、ベースモデルを凍結し、ハイパーネットワークの前方パスを使用して、テスト時間遷移の小さなバッチからアダプタを生成する。 動作, 体格, 報酬の異なる移動・操作環境におけるCLAWの評価を行った。 CLAWは、テストタイムデータの数秒だけを用いて、オンライン適応中の勾配ベースの適応と文脈内学習より優れていることを示す。 また、CLAWは、データスカース方式の過度な適合を回避し、その利点は、文脈条件よりも表現型アダプタによるものであり、ベースモデルと協調してハイパーネットワークを事前トレーニングすることで、ポストホックのトレーニングよりも優れていることを示す。

関連論文リスト

• The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
  Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。 我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
  論文  参考訳（メタデータ） (2026-03-23T12:48:38Z)
• ChameleonLLM: Batch-Aware Dynamic Low-Rank Adaptation via Inference-Time Clusters [3.729242965449096]
  本稿では,大規模言語モデルの推論時間適応を可能にする新しいフレームワークであるChameleonLLMを紹介する。 Low-Rank Adaptation (LoRA)のような従来の微調整手法とは異なり、本手法はデコーダ重みに対する適応的な修正を動的に生成する。 同様の入力をインテリジェントにグループ化し、ハイパーネットワーク経由でコンテキスト対応の低ランク更新を演算することで、ChameleonLLMは大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-02-06T18:57:06Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
  クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。 CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。 しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。 事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
  論文  参考訳（メタデータ） (2024-07-19T09:20:33Z)
• Efficient Open Set Single Image Test Time Adaptation of Vision Language Models [15.621092104244003]
  動的で現実世界の環境にモデルを適応させることは、ディープラーニングにおける重要な課題である。 動的に更新された機能バンクを利用して信頼性の高いテストサンプルを識別する新しいフレームワークであるROSITAを提案する。 このアプローチは、未知のサンプルを拒絶しながら、既知のクラスに対するドメインシフトにモデルを効果的に適用する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:42Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。