論文の概要: Behavioral Cloning Outperforms Entropy-Regularized RL: Critic-Driven Failure of Actor-Critic Methods on Adaptive Tumor Treatment

• arxiv url: http://arxiv.org/abs/2609.06667v1
• Date: Sun, 06 Sep 2026 15:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.292587
• Title: Behavioral Cloning Outperforms Entropy-Regularized RL: Critic-Driven Failure of Actor-Critic Methods on Adaptive Tumor Treatment
• Title（参考訳）: 順応性腫瘍治療におけるアクター・クライブ法(Actor-Critics)の批判的失敗
• Abstract要約: そこで, 最適制御解析により良好なスケジュールの形状を定式化する3つの腫瘍制御ODEについて検討した。 コンパレータに対して、微調整されたポリシーは、失敗ではなく、有能なコントローラとして読むだろう。
• 参考スコア（独自算出の注目度）: 46.644955105516466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive dosing requires policies that reduce tumor burden without excessive toxicity. Learned dosing policies are typically judged against historical or heuristic comparators, which cannot show whether a policy has found the best behavior available. We instead study a three-population tumor-control ODE in which optimal-control analysis fixes the form of a good schedule -- bang-bang dosing punctuated by a singular arc -- and construct a numerical controller of that form as a proxy for near-optimal behavior. Judged against this reference under a sustained-cure criterion -- 200 consecutive days below 5% carrying capacity -- Soft Actor-Critic (SAC) trained from scratch never reaches cure. Behavioral cloning (BC) of the reference reproduces it (100% sustained cure, 30/30 seeds), but SAC fine-tuning of the cloned policy destroys it across five entropy coefficients, and TD3 and BC-regularized SAC fail identically; the pattern persists under multiplicative pharmacokinetic action noise. Along curative trajectories the post-collapse critic ranks the collapsed-policy action above the reference action in 96% of states, concentrated in the maintenance phase, and the policy settles into a non-curative adaptive-therapy equilibrium. The reference is what makes this legible: against a heuristic comparator the fine-tuned policy would read as a competent controller rather than a failure.
• Abstract（参考訳）: 適応投与は過剰な毒性を伴わずに腫瘍の負担を軽減する政策を必要とする。 学習された投薬政策は、通常、歴史的またはヒューリスティックなコンパレーターに対して判断される。 そこで我々は, 最適制御解析により良好なスケジュールの形式, 特異弧で句読されたバンバンドシングを修正し, ほぼ最適動作のプロキシとして, その形態の数値制御器を構築する3つの個体群制御ODEについて検討した。 SAC(Soft Actor-Critic)は、スクラッチからトレーニングを受けたが、治療は行われなかった。 参照の行動的クローニング(BC)は、それを再現する(100%持続的治療、30/30種)が、クローンされたポリシーの微調整は、5つのエントロピー係数にわたって破壊し、TD3およびBC規則化されたSACは同様に失敗し、このパターンは乗法的薬物動態ノイズの下で持続する。 教育的軌道に沿って、崩壊後の批評家は、基準行動の96%の州で崩壊した政治行動が維持段階に集中しており、政策は非治療的適応療法均衡に落ち着く。 ヒューリスティックなコンパレータに対して、微調整されたポリシーは失敗ではなく、有能なコントローラとして読むだろう。

関連論文リスト

• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Structural Distinguishability of Static and Adaptive Policy Regimes in Agent-Based Regulatory Simulation [0.0]
  本稿では,新しい汎用フレームワークではなく,制御されたシミュレーションベンチマークに寄与する。 本研究は, ナイーブな固定ポリシー, トラッキング対応の固定ポリシ, および, セットポイント, 安全マージン, 片側制御の3つの適応コントローラを評価する。 このコントリビューションは、スカラーインジケータ、キャップ相対的なシンボル診断、軌跡モチーフ、視覚検査によって、平均的な結果が類似しているように見える場合でも、どのように規制の結論が異なるかを共同で明らかにする。
  論文  参考訳（メタデータ） (2026-06-15T10:06:32Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability [6.650703382349715]
  記憶増強政策が部分的可観測性の下で化学療法制御を改善できるかどうかを検討する。 10個のランダム種子にまたがって、再現性は完全な可観測性の下では控えめな利益をもたらすが、部分可観測性の下ではより強く、より安定した性能が得られる。
  論文  参考訳（メタデータ） (2026-05-04T13:00:55Z)
• Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
  オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。 本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。 BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:46:02Z)
• Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning [22.17044827069627]
  安定なアクターによって生成される高価値なアクションに置き換える,プラグアンドプレイのトレーニングサンプル置換器を提案する。 実験の結果、PARはパフォーマンスを継続的に改善し、基礎的なTD3+BCと組み合わせることで最先端にアプローチすることがわかった。
  論文  参考訳（メタデータ） (2026-02-07T08:44:27Z)
• Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets [2.922743999325622]
  本稿では,密度比重み付き行動クローンについて紹介する(重み付きBC)。 重み付きBC(Weighted BC)は、2値判別器を介して軌跡レベルの密度比を推定するために、小さな検証済みの基準セットを使用する頑健な模倣学習手法である。 実験により、Weighted BCは汚染率が高い場合でもほぼ最適性能を維持していることが示された。
  論文  参考訳（メタデータ） (2025-10-01T21:43:04Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)
• Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
  政策評価は強化学習(RL)における重要なプロセスである 我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。 KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
  論文  参考訳（メタデータ） (2020-02-17T13:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。