論文の概要: Offline Reinforcement Learning for Rotation Profile Control in Tokamaks

• arxiv url: http://arxiv.org/abs/2605.05857v1
• Date: Thu, 07 May 2026 08:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.628852
• Title: Offline Reinforcement Learning for Rotation Profile Control in Tokamaks
• Title（参考訳）: トカマクの回転プロファイル制御のためのオフライン強化学習
• Authors: Rohit Sonker, Hiro Josep Farre Kaga, Jiayu Chen, Andrew Rothstein, Ian Char, Ricardo Shousha, Egemen Kolemen, Jeff Schneider,
• Abstract要約: トカマクは、実際の核融合エネルギーを達成するための主要な候補であり続けているが、これらのデバイス内の重要な制御問題は、いまだに難しいか未解決のままである。 そのような課題の1つは、安定性、閉じ込め、輸送に強く影響を及ぼすプラズマ回転プロファイルを制御することである。 強化学習(RL)のような学習に基づく制御手法は、この課題に対する潜在的な解決策を提供する。
• 参考スコア（独自算出の注目度）: 9.641882418424712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tokamaks remain leading candidates for achieving practical fusion energy, yet many important control problems inside these devices are still difficult or unsolved. One such challenge is controlling the plasma rotation profile, which strongly influences stability, confinement, and transport. While the average rotation can be controlled, controlling the full profile is challenging due to high dimensionality, response to multiple actuators and dependence on plasma condition. Learning-based control methods, such as reinforcement learning (RL), provide a potential solution to this challenging problem with ability to model complex interactions leading to effective multi-input multi-output control. However, learning such policies is challenging due to the lack of accurate simulators that can model the rotation profile dynamics. In this work, we investigate the use of offline RL and offline model-based RL algorithms for rotation profile control, training them solely on historical data from the DIII-D tokamak. Our final method uses probabilistic models of plasma dynamics to generate rollouts for RL training. We deploy this policy on the DIII-D Tokamak and observe promising real-world results. We conclude by highlighting key challenges and insights from training and deploying an RL policy on a complex physical device while using only limited past data.
• Abstract（参考訳）: トカマクは、実際の核融合エネルギーを達成するための主要な候補であり続けているが、これらのデバイス内の重要な制御問題は、いまだに難しいか未解決のままである。 そのような課題の1つは、安定性、閉じ込め、輸送に強く影響を及ぼすプラズマ回転プロファイルを制御することである。 平均回転を制御できるが、高次元性、複数のアクチュエータへの応答、プラズマ状態への依存などにより、フルプロファイルの制御は困難である。 強化学習(RL)のような学習に基づく制御手法は、複雑な相互作用をモデル化し、効果的なマルチインプットマルチアウトプット制御へと導くことで、この課題に対する潜在的な解決策を提供する。 しかし、回転プロファイルのダイナミクスをモデル化できる正確なシミュレータが存在しないため、このようなポリシーの学習は困難である。 本研究では、回転プロファイル制御におけるオフラインRLとオフラインモデルベースRLアルゴリズムの使用について検討し、DIII-Dトカマクからの履歴データのみをトレーニングする。 最後の方法は、プラズマ力学の確率論的モデルを用いて、RLトレーニングのためのロールアウトを生成する。 我々は,この方針をDIII-Dトカマクに展開し,将来有望な実世界の成果を観察する。 我々は、過去の限られたデータのみを使用しながら、複雑な物理デバイス上でRLポリシーをトレーニングし、デプロイすることによる重要な課題と洞察を強調して、結論付けます。

関連論文リスト

• Plasma Shape Control via Zero-shot Generative Reinforcement Learning [17.3934551430283]
  PID制御放電の大規模オフラインデータセットから多目的ゼロショット制御ポリシーを開発するための新しいフレームワークを開発する。 結果として得られる基本方針は、タスク固有の微調整なしで、ゼロショットで多様な軌道追跡タスクに対して展開することができる。
  論文  参考訳（メタデータ） (2025-10-20T13:34:51Z)
• Physics-informed Neural-operator Predictive Control for Drag Reduction in Turbulent Flows [109.99020160824553]
  乱流のモデリングと制御のための効率的な深部強化学習フレームワークを提案する。 予測制御(PC)のためのモデルベースRLであり、乱流制御のためのポリシとオブザーバモデルの両方を共同で学習する。 その結果, PINO-PCは, バルク速度レイノルズ数15,000で39.0%の抗力低下を達成し, 従来の流体制御法を32%以上上回った。
  論文  参考訳（メタデータ） (2025-10-03T00:18:26Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• CHEQ-ing the Box: Safe Variable Impedance Learning for Robotic Polishing [5.467140383171385]
  本研究では, 可変インピーダンスを有するロボット研磨のためのハイブリッドRLアルゴリズムCHEQの実験的検討を行った。 ハードウェア上では、CHEQは効果的な研磨動作を実現し、8時間のトレーニングを必要とせず、5回の障害しか発生しない。 その結果、ハードウェア上で直接訓練された実世界のコンタクトリッチなタスクに対して、適応型ハイブリッドRLの可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-01-14T10:13:41Z)
• Tackling Data Corruption in Offline Reinforcement Learning via Sequence Modeling [35.2859997591196]
  オフラインの強化学習は、データ駆動意思決定のスケーリングを約束する。 しかし、センサーや人間から収集された現実世界のデータには、しばしばノイズやエラーが含まれている。 我々の研究によると、データセットが制限された場合、先行研究はデータの破損の下では不十分である。
  論文  参考訳（メタデータ） (2024-07-05T06:34:32Z)
• Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
  深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。 そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T09:00:30Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• How to Control Hydrodynamic Force on Fluidic Pinball via Deep Reinforcement Learning [3.1635451288803638]
  流体ピンボールの流体力を制御するためのDRLに基づくリアルタイムフィードバック戦略を提案する。 報酬関数を適切に設計し、歴史的観測を符号化することにより、DRLに基づく制御が合理的かつ有効な制御決定を行うことを示した。 これらの結果の1つは、力追跡プロセスの意思決定と物理的メカニズムに基づいて光を放つことができる機械学習モデルによって分析された。
  論文  参考訳（メタデータ） (2023-04-23T03:39:50Z)
• Real-Time Model-Free Deep Reinforcement Learning for Force Control of a Series Elastic Actuator [56.11574814802912]
  最先端のロボットアプリケーションは、歩行、揚力、操作などの複雑なタスクを達成するために、閉ループ力制御を備えた連続弾性アクチュエータ(SEAs)を使用する。 モデルフリーPID制御法はSEAの非線形性により不安定になりやすい。 深層強化学習は連続制御タスクに有効なモデルレス手法であることが証明されている。
  論文  参考訳（メタデータ） (2023-04-11T00:51:47Z)
• On Transforming Reinforcement Learning by Transformer: The Development Trajectory [97.79247023389445]
  Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。 既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。 ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
  論文  参考訳（メタデータ） (2022-12-29T03:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。