論文の概要: DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.16090v1
• Date: Fri, 17 Jul 2026 16:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.898834
• Title: DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning
• Title（参考訳）: DADiff: 拡散駆動型クロスドメイン政策適応による強化学習
• Abstract要約: ドメイン間の政策移転は、強化学習において重要な課題である。 拡散に基づくフレームワークであるDADiffを導入し、ソースとターゲット領域の生成軌跡の相違を利用した。 我々の手法は既存の手法に比べて優れた性能を提供する。
• 参考スコア（独自算出の注目度）: 6.441873210441909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transferring policies across domains poses a vital challenge in reinforcement learning, due to the dynamics mismatch between the source and target domains. In this paper, we consider the setting of online dynamics adaptation, where policies are trained in the source domain with sufficient data, while only limited interactions with the target domain are allowed. There are a few existing works that address the dynamics mismatch by employing domain classifiers, value-guided data filtering, or representation learning. Instead, we study the domain adaptation problem from a generative modeling perspective. Specifically, we introduce DADiff, a diffusion-based framework that leverages the discrepancy between source and target domain generative trajectories in the generation process of the next state to estimate the dynamics mismatch. Both reward modification and data selection variants are developed to adapt the policy to the target domain. We also provide a theoretical analysis to show that the performance difference of a given policy between the two domains is bounded by the generative trajectory deviation. More discussions on the applicability of the variants and the connection between our theoretical analysis and the prior work are further provided. We conduct extensive experiments in environments with various shifts to validate the effectiveness of our method. The results demonstrate that our method provides superior performance compared to existing approaches, effectively addressing the dynamics mismatch. We provide the code of our method at https://github.com/hanyang-chen/DADiff-release
• Abstract（参考訳）: ドメイン間のポリシーの転送は、ソースとターゲットドメイン間の動的ミスマッチのため、強化学習において重要な課題となる。 本稿では,対象ドメインとの限られたインタラクションのみを許しながら,十分なデータでポリシをソースドメインでトレーニングする,オンライン動的適応の設定について考察する。 ドメイン分類器、値誘導データフィルタリング、表現学習を用いることで、動的ミスマッチに対処する既存の作業がいくつかある。 その代わり、生成的モデリングの観点からドメイン適応問題を研究する。 具体的には、拡散に基づくフレームワークであるDADiffを紹介し、次の状態の生成過程におけるソースとターゲット領域の生成経路の相違を利用して、動的ミスマッチを推定する。 報酬修正とデータ選択の両バリエーションが開発され、ポリシーをターゲットドメインに適合させる。 また,2つの領域間のポリシーの性能差が生成軌道偏差によって制限されていることを示す理論的解析を行った。 変種の適用性に関するさらなる議論と、我々の理論解析と先行研究との関連について述べる。 提案手法の有効性を検証するため,様々な変化を伴う環境実験を行った。 その結果,本手法は既存手法と比較して優れた性能を示し,動的ミスマッチに効果的に対処できることが示唆された。 私たちはメソッドのコードをhttps://github.com/hanyang-chen/DADiff-releaseで提供します。

関連論文リスト

• Cross-Domain Offline Policy Adaptation via Selective Transition Correction [29.251685312287155]
  強化学習(RL)におけるミスマッチした力学を持つ領域をまたいだ政策の適応は依然として重要な課題である。 そこでは、他の類似ソースドメインからのオフラインデータセットにアクセスして、ターゲットドメインデータセットに対するポリシー学習を強化する。 本稿では,選択遷移補正 (STC) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:37:29Z)
• xTED: Cross-Domain Adaptation via Diffusion-Based Trajectory Editing [21.37585797507323]
  ドメイン間政策伝達手法は主に、ポリシー学習を容易にするために、ドメインの対応や修正を学習することを目的としている。 本稿では,クロスドメイントラジェクトリ適応のために特別に設計された拡散モデルを用いたクロスドメイントラジェクトリ・EDitingフレームワークを提案する。 提案するモデルアーキテクチャは,対象データ内の動的パターンだけでなく,状態,行動,報酬間の複雑な依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-13T10:07:28Z)
• Cross-Domain Policy Adaptation by Capturing Representation Mismatch [53.087413751430255]
  強化学習(RL)において、動的に異なる領域に移行できる効果的な政策を学ぶことが不可欠である。 本稿では、ソースドメインとターゲットドメインとの間に動的ミスマッチが存在する場合の動的適応設定について考察する。 対象領域でのみ表現学習を行い、ソース領域からの遷移における表現偏差を測定する。
  論文  参考訳（メタデータ） (2024-05-24T09:06:12Z)
• Revisiting the Domain Shift and Sample Uncertainty in Multi-source Active Domain Transfer [69.82229895838577]
  Active Domain Adaptation (ADA)は、アノテートするターゲットデータの限られた数を選択することで、新しいターゲットドメインにおけるモデル適応を最大限に向上することを目的としている。 この設定は、複数のソースからトレーニングデータを収集するより実践的なシナリオを無視します。 これは、ADAを単一のソースドメインから複数のソースドメインに拡張する、新しい、挑戦的な知識転送の設定を目標にしています。
  論文  参考訳（メタデータ） (2023-11-21T13:12:21Z)
• Cross-Domain Policy Adaptation via Value-Guided Data Filtering [57.62692881606099]
  動的ミスマッチで異なるドメインにまたがるポリシーを一般化することは、強化学習において重要な課題となる。 本稿では、ペア化された値ターゲットの近接に基づいて、ソースドメインからの遷移を選択的に共有するバリューガイドデータフィルタリング(VGDF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-28T04:08:40Z)
• A Comprehensive Survey on Source-free Domain Adaptation [69.17622123344327]
  ソースフリードメイン適応(SFDA)の研究は近年注目を集めている。 SFDAの最近の進歩を包括的に調査し、それらを統一的な分類体系に整理する。 一般的な3つの分類基準で30以上のSFDA法を比較検討した。
  論文  参考訳（メタデータ） (2023-02-23T06:32:09Z)
• FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation [26.929772844572213]
  我々は、ソースとターゲットドメイン間の複数の中間ドメインを拡大するために、固定比に基づくミックスアップを導入する。 我々は、相補的な特性を持つソース支配モデルとターゲット支配モデルを訓練する。 提案手法により,モデルが対象ドメインに徐々にドメイン知識を伝達する。
  論文  参考訳（メタデータ） (2020-11-18T11:58:19Z)
• Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
  部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。 本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
  論文  参考訳（メタデータ） (2020-08-27T00:53:43Z)
• Multi-Source Domain Adaptation for Text Classification via DistanceNet-Bandits [101.68525259222164]
  本研究では,NLPタスクのコンテキストにおいて,サンプル推定に基づく領域間の相違を特徴付ける様々な距離ベース尺度について検討する。 タスクの損失関数と協調して最小化するために,これらの距離測度を付加的な損失関数として用いるディスタンスネットモデルを開発した。 マルチアーム・バンド・コントローラを用いて複数のソース・ドメインを動的に切り替えるDistanceNet-Banditモデルに拡張する。
  論文  参考訳（メタデータ） (2020-01-13T15:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。