Fugu-MT 論文翻訳(概要): $\text{DT}^2$: Decision-Targeted Digital Twins

論文の概要: $\text{DT}^2$: Decision-Targeted Digital Twins

arxiv url: http://arxiv.org/abs/2606.25923v1
Date: Wed, 24 Jun 2026 15:02:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 17:05:30.363436
Title: $\text{DT}^2$: Decision-Targeted Digital Twins
Title（参考訳）: $\text{DT}^2$: Decision-Targeted Digital Twins
Abstract要約: デジタルツイン(Digital twin, DT)は、様々な政策によって引き起こされるシナリオをシミュレートすることで意思決定を支援する現実世界のシステムの仮想モデルである。モデルキャパシティが制限されている場合、一段階の遷移誤差を最小限に抑えるためのDTを訓練することで、報酬関数に従ってポリシーのランク付けのためのサブ最適モデルを生成することができることを示す。我々は、決定目標のDTトレーニングパラダイムである$textDT2$を紹介します。
参考スコア（独自算出の注目度）: 51.56484100374058
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A digital twin (DT) is a virtual model of a real-world system that can assist decision-making by simulating scenarios induced by different policies. However, typical machine learning-based DTs do not optimise for this use case. We prove that, when model capacity is limited, training DTs to minimise one-step transition errors can produce suboptimal models for ranking sets of policies according to a reward function. We further show that this holds empirically, even with expressive model classes. To address this, we introduce $\text{DT}^2$, a decision-targeted DT training paradigm. Firstly, $\text{DT}^2$ uses fitted Q-evaluation to estimate values of candidate policies from offline data. A DT is then trained to generate rollouts that preserve pairwise policy rankings derived from these proxy ground-truth values with an architecture-agnostic loss function. We empirically demonstrate the efficacy of our method across a range of settings and architectures. $\text{DT}^2$ consistently improves policy ranking and reduces decision regret during policy selection relative to conventional DT training, both for policies used during training and for unseen policies, while maintaining a good level of raw simulation fidelity.
Abstract（参考訳）: デジタルツイン(Digital twin, DT)は、様々な政策によって引き起こされるシナリオをシミュレートすることで意思決定を支援する現実世界のシステムの仮想モデルである。しかし、典型的な機械学習ベースのDTは、このユースケースに最適化しない。モデルキャパシティが制限されている場合、一段階の遷移誤差を最小限に抑えるためのDTを訓練することで、報酬関数に従ってポリシーのランク付けのためのサブ最適モデルを生成することができることを示す。さらに、表現力のあるモデルクラスであっても、これは経験的に成り立つことを示す。これを解決するために、決定目標のDTトレーニングパラダイムである$\text{DT}^2$を紹介します。まず、$\text{DT}^2$は、オフラインデータから候補ポリシーの値を推定するために適合Q評価を使用する。その後、DTは、アーキテクチャに依存しない損失関数でこれらのプロキシ基底トラス値から派生したペアワイズポリシーランキングを保持するロールアウトを生成するように訓練される。さまざまな設定やアーキテクチャにおいて,提案手法の有効性を実証的に実証する。 $\text{DT}^2$は、政策ランキングを一貫して改善し、従来のDTトレーニングと比較してポリシー選択における決定の後悔を減らす。

関連論文リスト

CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning [6.586422759470378]
提案するCAST(Critic with Alternating State-value Target)は、プランナー誘導行動を用いて価値学習を改善しつつ、現在の方針で価値見積を規則化する。我々はDeepMind ControlとHumanoidBench SuitesのCASTをいくつかの最先端手法に対して評価し、動的ハンドスタンドを実行する物理Unitree Go2rupedへの転送に成功したことを示す。
論文参考訳（メタデータ） (2026-09-08T15:05:16Z)
$β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-07-30T17:41:16Z)
Bayesian Experimental Design via Score Matching [15.998867609597545]
予測情報ゲインの二重誘引性は政策学習から分離可能であることを示す。これにより、鍵乗法コストが加算コストとなり、ポリシートレーニング自体の計算負担が軽減される。本実験では,確率評価において乗算コストを発生させることなく,複数の競争政策を訓練する。
論文参考訳（メタデータ） (2026-07-09T10:21:06Z)
Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning [33.899779762210976]
大規模言語モデルの教師付き微調整(SFT)は、非政治的な学習問題と見なすことができる。既存の方法では、ギャップを積極的に減らすのではなく、パッシブに更新するKLペナルティやクリッピングによってこの問題を軽減する。本稿では,トレーニング前の政策ギャップを積極的に縮小する,シンプルで効果的なデータ書き換えフレームワークを提案する。
論文参考訳（メタデータ） (2025-09-18T17:02:30Z)
IF-GUIDE: Influence Function-Guided Detoxification of LLMs [53.051109450536885]
本研究では,大規模言語モデルにおける有害な行動の出現に,トレーニングデータがどのように寄与するかを検討する。本稿では,任意のトレーニングデータ中の有害トークンを識別し,トレーニング中の影響を抑制するために,影響関数を利用する$proactiveアプローチを提案する。本稿では,有毒な訓練資料の選択手法や学習目標などとともに,学習データから有毒度をモデル化するためのトークンレベルの属性を測定する新しい適応法を提案する。
論文参考訳（メタデータ） (2025-06-02T15:32:36Z)
TD-M(PC)$^2$: Improving Temporal Difference MPC Through Policy Constraint [11.347808936693152]
モデルベースの強化学習アルゴリズムは、モデルベースの計画と学習された価値/政治を組み合わせる。バリューラーニングに標準のSACスタイルのポリシーイテレーションに依存する既存の手法は、しばしばエンハンピスタントな価値過大評価をもたらす。本稿では,ODAクエリを削減し,価値学習を改善する政策正規化項を提案する。
論文参考訳（メタデータ） (2025-02-05T19:08:42Z)
Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [69.1820058966619]
平均逆無限水平POMDPを未知の遷移モデルで扱う。この障壁を克服する斬新でシンプルな推定器を提示する。
論文参考訳（メタデータ） (2025-01-30T22:29:41Z)
$Δ\text{-}{\rm OPE}$: Off-Policy Estimation with Pairs of Policies [13.528097424046823]
Inverse Propensity Scoring estimator に基づいた$Deltatext-rm OPE$メソッドを提案する。シミュレーション,オフライン,オンライン実験により,本手法は評価タスクと学習タスクの両方のパフォーマンスを著しく向上させることが示された。
論文参考訳（メタデータ） (2024-05-16T12:04:55Z)
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文参考訳（メタデータ） (2023-08-28T20:46:07Z)
Co-learning Planning and Control Policies Constrained by Differentiable Logic Specifications [4.12484724941528]
本稿では,高次元ロボットナビゲーションタスクを解くための新しい強化学習手法を提案する。既存の強化学習アルゴリズムと比較して、より少ないサンプルで高品質なポリシーを訓練する。提案手法は,高次元制御と政策アライメントによる準最適政策の回避にも有効である。
論文参考訳（メタデータ） (2023-03-02T15:24:24Z)
Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
論文参考訳（メタデータ） (2023-01-31T12:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。