論文の概要: Sample-Efficient Co-Design of Robotic Agents Using Multi-fidelity
Training on Universal Policy Network
- arxiv url: http://arxiv.org/abs/2309.04085v1
- Date: Fri, 8 Sep 2023 02:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 16:15:22.270887
- Title: Sample-Efficient Co-Design of Robotic Agents Using Multi-fidelity
Training on Universal Policy Network
- Title(参考訳): ユニバーサル・ポリシー・ネットワーク上でのマルチフィデリティ・トレーニングを用いたロボットエージェントのサンプル効率協調設計
- Authors: Kishan R. Nagiredla, Buddhika L. Semage, Thommen G. Karimpanal, Arun
Kumar A. V and Santu Rana
- Abstract要約: 本稿では,Hyperbandに基づく多要素設計探索手法を提案する。
我々は、その後のコントローラ学習問題を温めるためのユニバーサルラーナーポリシーを通じて、設計空間全体で学習したコントローラを結びつける。
幅広いエージェント設計問題に対して行った実験は,本手法がベースラインよりも優れていることを示した。
- 参考スコア(独自算出の注目度): 12.283890343327233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Co-design involves simultaneously optimizing the controller and agents
physical design. Its inherent bi-level optimization formulation necessitates an
outer loop design optimization driven by an inner loop control optimization.
This can be challenging when the design space is large and each design
evaluation involves data-intensive reinforcement learning process for control
optimization. To improve the sample-efficiency we propose a
multi-fidelity-based design exploration strategy based on Hyperband where we
tie the controllers learnt across the design spaces through a universal policy
learner for warm-starting the subsequent controller learning problems. Further,
we recommend a particular way of traversing the Hyperband generated design
matrix that ensures that the stochasticity of the Hyperband is reduced the most
with the increasing warm starting effect of the universal policy learner as it
is strengthened with each new design evaluation. Experiments performed on a
wide range of agent design problems demonstrate the superiority of our method
compared to the baselines. Additionally, analysis of the optimized designs
shows interesting design alterations including design simplifications and
non-intuitive alterations that have emerged in the biological world.
- Abstract(参考訳): 共設計は、コントローラとエージェントの物理設計を同時に最適化する。
その本質的に双レベル最適化の定式化は、内部ループ制御最適化によって駆動される外ループ設計の最適化を必要とする。
設計空間が大きく、各設計評価が制御最適化のためのデータ集約型強化学習プロセスを含む場合、これは難しい。
サンプル効率を向上させるために,我々はハイパーバンドに基づく多元性に基づく設計探索戦略を提案する。
さらに,提案手法では,ハイパーバンドの確率性が最大に低下し,新設計評価の強化に伴い,ユニバーサルポリシー学習者の温かい開始効果が増大することを保証するために,ハイパーバンド生成設計行列をトラバースする方法を推奨する。
幅広いエージェント設計問題に対して行った実験は,本手法がベースラインよりも優れていることを示した。
さらに、最適化されたデザインの分析は、生体界に現れたデザインの単純化や直観的でない変更を含む興味深いデザイン変更を示している。
関連論文リスト
- Compositional Generative Inverse Design [69.22782875567547]
入力変数を設計して目的関数を最適化する逆設計は重要な問題である。
拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。
N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
論文 参考訳(メタデータ) (2024-01-24T01:33:39Z) - Collaborative and Distributed Bayesian Optimization via Consensus:
Showcasing the Power of Collaboration for Optimal Design [7.066023612489374]
ベイズ最適化のための新しい協調パラダイムを提案する。
私たちのアプローチは、さまざまなコラボレーションメカニズムを組み込むことのできる、汎用的で柔軟なフレームワークを提供します。
我々のフレームワークは、最適な設計プロセスを効果的に加速し、改善し、すべての参加者に利益をもたらすことを示しています。
論文 参考訳(メタデータ) (2023-06-25T21:43:05Z) - Meta Reinforcement Learning for Optimal Design of Legged Robots [9.054187238463212]
モデルなしメタ強化学習を用いた設計最適化フレームワークを提案する。
提案手法は,事前定義された動作や歩行パターンに制約されずに,より高い性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-06T08:37:52Z) - Structured Q-learning For Antibody Design [82.78798397798533]
抗体設計における重要なステップの1つは、病原体との結合を改善するタンパク質配列中のアミノ酸の配列を見つけることである。
非常に大きな探索空間と非線形目的のために、抗体の組合せ最適化は困難である。
従来の強化学習を抗体設計の最適化に適用すると、性能は低下する。
本稿では,Q-ラーニングの拡張であるQ-ラーニングを提案する。
論文 参考訳(メタデータ) (2022-09-10T15:36:55Z) - Investigating Positive and Negative Qualities of Human-in-the-Loop
Optimization for Designing Interaction Techniques [55.492211642128446]
設計者は、与えられた目的の集合を最大化する設計パラメータの組み合わせを見つけるよう求められる設計最適化タスクに苦労すると言われている。
モデルベースの計算設計アルゴリズムは、設計中に設計例を生成することでデザイナを支援する。
一方、補助のためのブラックボックスメソッドは、あらゆる設計問題に対処できる。
論文 参考訳(メタデータ) (2022-04-15T20:40:43Z) - Machine Learning Framework for Quantum Sampling of Highly-Constrained,
Continuous Optimization Problems [101.18253437732933]
本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。
本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
論文 参考訳(メタデータ) (2021-05-06T02:22:23Z) - Reinforcement Learning for Flexibility Design Problems [77.37213643948108]
フレキシビリティ設計問題に対する強化学習フレームワークを開発した。
実験の結果、RL法は古典的手法よりも優れた解を常に見出すことがわかった。
論文 参考訳(メタデータ) (2021-01-02T02:44:39Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z) - Generative Design by Reinforcement Learning: Enhancing the Diversity of
Topology Optimization Designs [5.8010446129208155]
本研究では、トポロジ設計の多様性を最大化する報酬関数を備えた強化学習に基づく生成設計プロセスを提案する。
RLをベースとした生成設計は,GPUを完全自動で活用することにより,短時間で多数の多様な設計を生成できることを示す。
論文 参考訳(メタデータ) (2020-08-17T06:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。