論文の概要: Advantage-level Aggregation Reinforcement Learning for X-point Target Magnetic Configuration Control in an EXL-50U Experiment-Calibrated Simulation Environment
- arxiv url: http://arxiv.org/abs/2608.20834v1
- Date: Fri, 21 Aug 2026 08:00:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.451817
- Title: Advantage-level Aggregation Reinforcement Learning for X-point Target Magnetic Configuration Control in an EXL-50U Experiment-Calibrated Simulation Environment
- Title（参考訳）: EXL-50U実験校正シミュレーション環境におけるX点目標磁気構成制御のアドバンテージレベル集約強化学習
- Abstract要約: ダイバータ熱負荷の管理は、高出力トカマクにとって重要な課題である。
現在の実験は、PIDループを持つ事前計算されたフィードフォワード波形を大域量に頼っている。
セカンダリnullに対する専用クローズドループフィードバックの欠如により、XPT操作は繰り返し可能だが、ルーチンではない。
我々はEXL-50U 放電 #13906 に校正された自由境界環境における多目的強化学習(RL)制御問題として XPT フィードバックを定式化する。
- 参考スコア（独自算出の注目度）: 12.477356314678332
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Managing divertor heat loads is a central challenge for compact, high-power tokamaks. To increase local flux expansion and decouple the dissipation volume from the core, EHL-2 adopts the X-point target (XPT) divertor. This requires the secondary X-point to remain on the divertor leg; displacement degrades the topology and exhaust geometry. Current experiments, including EXL-50U discharges, rely on precomputed feedforward waveforms with PID loops on global quantities. Lacking dedicated closed-loop feedback for the secondary null, XPT operation is repeatable but not routine. We formulate XPT feedback as a multi-objective reinforcement learning (RL) control problem in a free-boundary environment calibrated to EXL-50U discharge #13906. To address strong coupling among plasma current, shape, and null constraints - where reward scalarisation collapses objective-specific temporal credit - we develop Advantage Aggregation (AdvA). AdvA preserves objective-wise temporal credit before worst-objective-aware nonlinear scalarisation and introduces a residual correction to policy updates. AdvA-PPO is evaluated against Reward-PPO and a feedforward-plus-PID baseline under nominal operation, measurement uncertainties, and unseen initial equilibria. On a 500 ms rollout, AdvA-PPO raises the mean worst-channel score from 0.23 to 0.81 over Reward-PPO, reducing X-point flux RMSE by ~20x. Under combined measurement uncertainties, it is the only learned controller completing the horizon while retaining a usable XPT shape. Multi-initialization fine-tuning enables a single AdvA-PPO policy to complete full-horizon operation across divertor and limiter initial equilibria. These results provide a simulation-based foundation for future real-time XPT validation on EXL-50U.
- Abstract（参考訳）: ダイバータ熱負荷の管理は、コンパクトで高出力のトカマクにとって重要な課題である。
局所的なフラックス膨張を増大させ、コアから散逸体積を分離するために、EHL-2 は X-point target (XPT) ダイバータを採用している。
これは二次X点がダイバータ脚に留まることを必要とし、変位はトポロジーと排気幾何学を劣化させる。
EXL-50U放電を含む現在の実験は、地球規模のPIDループを持つ事前計算されたフィードフォワード波形に依存している。
セカンダリnullに対する専用クローズドループフィードバックの欠如により、XPT操作は繰り返し可能だが、ルーチンではない。
我々はEXL-50U 放電 #13906 に校正された自由境界環境における多目的強化学習(RL)制御問題として XPT フィードバックを定式化する。
報酬のスカラー化が客観的な時間的信用を崩壊させるプラズマ電流、形状、およびヌル制約の強い結合に対処するため、アドバンテージ・アグリゲーション(AdvA)を開発する。
AdvAは、最悪の対象を意識した非線形スカラー化の前に、客観的な時間的信用を保ち、ポリシー更新に残留的な修正を導入する。
Reward-PPOおよびフィードフォワード+PIDベースラインに対して、命名的操作、測定の不確実性、および見当たらない初期平衡に対してAdvA-PPOを評価した。
500msのロールアウトで、AdvA-PPOは平均最悪のチャネルスコアを Reward-PPO で 0.23 から 0.81 に引き上げ、X点流束RMSE を約20倍削減した。
複合測定の不確実性の下では、使用可能なXPT形状を維持しながら水平線を完了した唯一の学習されたコントローラである。
多重初期化ファインチューニングにより、単一のAdvA-PPOポリシーがダイバータとリミッタの初期平衡をまたいで完全な水平動作を完了できる。
これらの結果はEXL-50Uにおける将来のリアルタイムXPT検証のためのシミュレーションベース基盤を提供する。
関連論文リスト
- Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC [17.152519147246842]
本稿では,RLをベースとしたオンラインMPCコスト重み付けのためのソルバ感度向上手法を提案する。
SG-RL in Proximal Policy Optimization (PPO) with four modular algorithm that inject solver-gradient guidance into actor-update scaling, policy loss, advantage estimation, and value-function learning。
意図的なモデルミスマッチを持つ2つのフルスケールの自律レースプラットフォームにおいて、SG-RLは最大70.6%のサンプルでPPOの最高のクローズドループリターンに達し、クローズドループリターンにおいてGB-PLベースラインを少なくとも54%上回り、ゼロショットを目に見えない環境に一般化する。
論文 参考訳（メタデータ） (2026-09-01T10:55:18Z) - Flight-Ready LiDAR-Inertial Odometry for Embedded Drone Platforms [0.0]
オープンソースのLiDAR慣性オドメトリーシステムは、目覚ましいベンチマーク精度を達成した。
現在の最先端の実装は主に評価性能に最適化されている。
論文 参考訳（メタデータ） (2026-07-24T09:44:29Z) - Stokes-Informed Diffusion for Robust Linear Polarization Estimation [49.459667092743445]
GenPolar(ゲンポーラー)は、ミュラー形式主義を基盤としたストークスインフォームド拡散フレームワークである。
DLPの忠実度とAoPの安定性の両面において最先端の性能を達成する。
これらの改善は、物質検出やデフレクションを含む下流アプリケーションにおいて、顕著で一貫した利益をもたらす。
論文 参考訳（メタデータ） (2026-07-23T11:56:15Z) - Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。
乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
論文 参考訳（メタデータ） (2026-06-05T09:35:22Z) - HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。
1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。
HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
論文 参考訳（メタデータ） (2026-05-28T12:24:15Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Spectral Geometry of LoRA Adapters Encodes Training Objective and Predicts Harmful Compliance [0.0]
言語モデルにどの微調整対象が適用されたのかをLoRA重みデルタの低ランクスペクトル要約で判別できるかどうかを検討した。
我々は、健康なSFTベースライン、逆無害嗜好のDPO、逆無害嗜好のDPO、活性化ステアリング由来のアダプタの4つのカテゴリにまたがる38個のLoRAアダプタを製造した。
論文 参考訳（メタデータ） (2026-04-10T00:53:30Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - SAFE: Stable Alignment Finetuning with Entropy-Aware Predictive Control for Reinforcement Learning from Human Feedback (RLHF) [0.0]
LM-RLHF設定のためのポリシーアクター批判RL法を新たに開発した。
本稿では,新たな多層安定化フレームワークであるSAFE(Stable Alignment Finetuning with Entropy-aware Control)を提案する。
論文 参考訳（メタデータ） (2026-02-04T15:26:44Z) - A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。
トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。
我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文 参考訳（メタデータ） (2026-01-30T08:47:19Z) - DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。
DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
論文 参考訳（メタデータ） (2025-09-19T16:09:33Z) - Beyond PID Controllers: PPO with Neuralized PID Policy for Proton Beam
Intensity Control in Mu2e [3.860979702631594]
我々は,Fermi National Accelerator Laboratory (Fermilab) におけるMuon to Electron Conversion Experiment (Mu2e) における均一な陽子ビーム強度の伝達を維持することを目的とした,新しいPPOアルゴリズムを提案する。
我々の主な目的は、一貫した強度プロファイルを確保するために、一貫した強度プロファイルを確保するために、スピル制御システム(SRS)パラメータのリアルタイムフィードバックとキャリブレーションをミリ秒のタイムスケールで実現する自動制御器を作成することにある。
論文 参考訳（メタデータ） (2023-12-28T21:35:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。