論文の概要: Calibrate Once, Fly Any Team: Residual-Grounded Low-Fidelity Training for Cooperative Drone Swarms
- arxiv url: http://arxiv.org/abs/2609.17265v1
- Date: Tue, 15 Sep 2026 14:46:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.586834
- Title: Calibrate Once, Fly Any Team: Residual-Grounded Low-Fidelity Training for Cooperative Drone Swarms
- Title(参考訳): Calibrate once, Fly Any Team: Residual-Grounded Low-Fidelity Training for Cooperative Drone Swarms
- Abstract要約: 本稿では,HF強化学習を完全に排除した混合忠実度学習手法を提案する。
単一共有分散ポリシは、完全に微分可能な、JAXネイティブな低忠実度(LF)ポイントマスシミュレータ内で最適化される。
提案手法は,最大規模のチームで計算コストのごく一部でほぼ等価な性能を実現する。
- 参考スコア(独自算出の注目度): 2.0223202343873226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training multi-agent drone-swarm policies directly in high-fidelity (HF) rigid-body physics is accurate but computationally expensive. This cost scales poorly with team size, as each additional agent multiplies contact-resolution complexity and sharply raises the in-simulation crash rate. To address this, we propose a mixed-fidelity training scheme that eliminates HF reinforcement learning entirely. A single shared, decentralized policy is optimized inside a fully-differentiable, JAX-native low-fidelity (LF) point-mass simulator. The simulator is corrected by a small, per-agent bagged residual ensemble fit once, offline, using short calibration flights in the HF simulator. Because calibration requires only one isolated drone, the data collection budget does not compound with team size. Reference trajectories are generated by rolling out an existing LF-only policy and tracked in the HF simulator by a zero-training PD controller. Evaluated across four cooperative drone tasks and team sizes from 3 to 18, the residual-corrected policy outperforms an uncorrected LF baseline in all combinations, and a from-scratch HF policy in 22 of 24 combinations tested. It trails an HF-finetuned policy by a margin that narrows steadily with team size. Ultimately, the proposed method achieves near-equivalent performance at the largest team sizes at a fraction of the computational cost, completely avoiding the high crash rates typical of HF training.
- Abstract(参考訳): 高忠実度(HF)剛体物理学において、マルチエージェントのドローン警告ポリシーを直接訓練することは正確だが、計算コストがかかる。
このコストは、各追加のエージェントがコンタクト解像度の複雑さを乗じ、シミュレーション中のクラッシュ率を急上昇させるため、チームサイズに匹敵する。
そこで本研究では,HF強化学習を完全に排除した混合忠実度学習手法を提案する。
単一共有分散ポリシは、完全に微分可能な、JAXネイティブな低忠実度(LF)ポイントマスシミュレータ内で最適化される。
シミュレータは、HFシミュレータの短いキャリブレーション飛行を使用して、小さな、エージェントごとのバッジ付き残アンサンブルフィットによって、オフラインで修正される。
キャリブレーションは1つの独立したドローンだけを必要とするため、データ収集予算はチームサイズと合わさらない。
既存のLFのみのポリシーをロールアウトして参照トラジェクトリを生成し、ゼロトレーニングPDコントローラでHFシミュレータで追跡する。
4つの協力型ドローンタスクとチームサイズを3から18に評価し、残補正されたポリシーは、すべての組み合わせで修正されていないLFベースラインを上回り、テストされた24種類の組み合わせのうち22種類のHFポリシーをアウトスクラッチする。
チーム規模が着実に狭まるように、HFが細分化した方針を踏襲している。
提案手法は,最大規模のチームで計算コストのごく一部でほぼ等価な性能を達成し,HFトレーニングの典型的な高クラッシュ率を完全に回避する。
関連論文リスト
- HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。
HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。
HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
論文 参考訳(メタデータ) (2026-08-17T17:22:33Z) - Distributed Motion Planning with Safety Guarantees for Self-Reconfiguring Robotic Boats [76.98547580312116]
本稿では,分散モデル予測制御(MPC)と制御バリア関数(CBF)を組み合わせたハイブリッドフレームワークを提案する。
リアルタイムに安全を確保するため、分散CBFベースのフィルタを適用し、エージェント間回避を強制する。
論文 参考訳(メタデータ) (2026-07-22T16:37:05Z) - Decentralized Geometric Control for Cable-Suspended Payload Transport with Adaptive Mass Estimation [0.8972395008645466]
GPACは、中央コーディネータを使わずに、ケーブルで吊るされたペイロードを輸送することができる。
それぞれのクオータは、ローカルケーブルの測定から、その効果的な負荷共有を独立に推定する。
ペイロードの位置は各エージェントのケーブル形状から局所的に再構成される。
論文 参考訳(メタデータ) (2026-06-20T15:33:17Z) - Reinforcement Learning with Inner-loop Dynamics Estimator for Aerial Manipulation under Uncertainty [0.560928143828791]
本稿では,Reinforcement Learning (RL) と内部ループ力学推定器を組み合わせた階層型制御フレームワークを提案する。
本研究では, 各種ペイロード条件下でのハードウェア実験により, 3DoFマニピュレータを備えたカスタム四極子に対する提案手法の有効性を検証した。
論文 参考訳(メタデータ) (2026-06-15T12:16:01Z) - Near-Future Policy Optimization [51.760544033045726]
検証可能な報酬(RLVR)による強化学習は、学習後の中核的なレシピとなっている。
textbfNear-Future textbfPolicy textbfOptimization (textbfNPO)を提案する。
論文 参考訳(メタデータ) (2026-04-22T16:20:41Z) - Agile Interception of a Flying Target using Competitive Reinforcement Learning [2.982218441172364]
この記事では、捕獲網を積んだ別のアジャイルドローンによって、アジャイルドローンを迎撃するソリューションを提示します。
我々は、このインターセプションを競合強化学習問題として定式化し、インターセプターとターゲットドローンを個別のポリシーで制御する。
JAXで実装された現実的な四重項力学モデルと低レベル制御アーキテクチャを統合した高忠実度シミュレーション環境を提案する。
論文 参考訳(メタデータ) (2026-03-17T09:11:23Z) - Simplify RLHF as Reward-Weighted SFT: A Variational Method [34.222095430239555]
RLHF(Reinforcement Learning from Human Feedback)は、Large Language Models(LLM)と人的価値の整合に不可欠である。
変分推論の観点からRLHFの単純化を提案する。
我々は、アライメント目標を報酬駆動型微調整形式に変換し、トレーニングの安定性と効果を顕著に向上させる。
論文 参考訳(メタデータ) (2025-02-16T07:22:00Z) - The Perfect Blend: Redefining RLHF with Mixture of Judges [68.58426626501883]
人間のフィードバックによる強化学習(RLHF)が,大規模言語モデル(LLM)の指導的アプローチとなっている。
MTLにRLHFを適用するには、現在、報酬モデルとデータの組み合わせに対する重み付けを慎重に調整する必要がある。
CGPO(Constrained Generative Policy Optimization)と呼ばれる新しいポストトレーニングパラダイムを導入する。
論文 参考訳(メタデータ) (2024-09-30T15:06:53Z) - UNA: Unifying Alignments of RLHF/PPO, DPO and KTO by a Generalized Implicit Reward Function [14.7365465149829]
我々は、RLHF/PPO、DPO、KTOを統一するtextbfUNified textbfAlignment (UNA)を提案する。
この新たな報酬モデルと最適ポリシーのマッピングにより、UNAは1。
RLHF/PPOの性能は、RL微調整プロセスの単純化、安定化、高速化、メモリ負荷の低減を図りながら向上する。
論文 参考訳(メタデータ) (2024-08-27T18:04:07Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:57:46Z) - RRHF: Rank Responses to Align Language Models with Human Feedback
without tears [69.68672043223249]
InstructGPTは、SFT(Supervised Fine-Tuning)、報酬モデルトレーニング、PPO(Proximal Policy Optimization)など、いくつかの段階を通じてRLHFを実装している。
本稿では,条件付き確率の対数を用いて,異なるソースからのサンプル応答をスコアするRRHFという新しい学習パラダイムを提案する。
我々は、Helpful and Harmlessデータセット上でRRHFを評価し、報酬モデルスコアと人間ラベルによるPPOと同等のアライメント性能を示す。
論文 参考訳(メタデータ) (2023-04-11T15:53:40Z) - Killing Two Birds with One Stone:Efficient and Robust Training of Face
Recognition CNNs by Partial FC [66.71660672526349]
部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。
各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。
計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
論文 参考訳(メタデータ) (2022-03-28T14:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。