論文の概要: Sample-Efficient Co-Design of Robotic Agents Using Multi-fidelity Training on Universal Policy Network

• arxiv url: http://arxiv.org/abs/2309.04085v1
• Date: Fri, 8 Sep 2023 02:54:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 16:15:22.270887
• Title: Sample-Efficient Co-Design of Robotic Agents Using Multi-fidelity Training on Universal Policy Network
• Title（参考訳）: ユニバーサル・ポリシー・ネットワーク上でのマルチフィデリティ・トレーニングを用いたロボットエージェントのサンプル効率協調設計
• Authors: Kishan R. Nagiredla, Buddhika L. Semage, Thommen G. Karimpanal, Arun Kumar A. V and Santu Rana
• Abstract要約: 本稿では,Hyperbandに基づく多要素設計探索手法を提案する。 我々は、その後のコントローラ学習問題を温めるためのユニバーサルラーナーポリシーを通じて、設計空間全体で学習したコントローラを結びつける。 幅広いエージェント設計問題に対して行った実験は,本手法がベースラインよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 12.283890343327233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Co-design involves simultaneously optimizing the controller and agents physical design. Its inherent bi-level optimization formulation necessitates an outer loop design optimization driven by an inner loop control optimization. This can be challenging when the design space is large and each design evaluation involves data-intensive reinforcement learning process for control optimization. To improve the sample-efficiency we propose a multi-fidelity-based design exploration strategy based on Hyperband where we tie the controllers learnt across the design spaces through a universal policy learner for warm-starting the subsequent controller learning problems. Further, we recommend a particular way of traversing the Hyperband generated design matrix that ensures that the stochasticity of the Hyperband is reduced the most with the increasing warm starting effect of the universal policy learner as it is strengthened with each new design evaluation. Experiments performed on a wide range of agent design problems demonstrate the superiority of our method compared to the baselines. Additionally, analysis of the optimized designs shows interesting design alterations including design simplifications and non-intuitive alterations that have emerged in the biological world.
• Abstract（参考訳）: 共設計は、コントローラとエージェントの物理設計を同時に最適化する。 その本質的に双レベル最適化の定式化は、内部ループ制御最適化によって駆動される外ループ設計の最適化を必要とする。 設計空間が大きく、各設計評価が制御最適化のためのデータ集約型強化学習プロセスを含む場合、これは難しい。 サンプル効率を向上させるために,我々はハイパーバンドに基づく多元性に基づく設計探索戦略を提案する。 さらに,提案手法では,ハイパーバンドの確率性が最大に低下し,新設計評価の強化に伴い,ユニバーサルポリシー学習者の温かい開始効果が増大することを保証するために,ハイパーバンド生成設計行列をトラバースする方法を推奨する。 幅広いエージェント設計問題に対して行った実験は,本手法がベースラインよりも優れていることを示した。 さらに、最適化されたデザインの分析は、生体界に現れたデザインの単純化や直観的でない変更を含む興味深いデザイン変更を示している。

関連論文リスト

• Co-Optimization of Robot Design and Control: Enhancing Performance and Understanding Design Complexity [0.8999666725996974]
  ロボットの設計と制御の協調最適化は、どちらもタスクに適合する設計と制御を生成する。 協調最適化プロセス終了後に追加のリソースでロボットのコントローラを再訓練することで、ロボットの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-09-13T08:18:01Z)
• ADO-LLM: Analog Design Bayesian Optimization with In-Context Learning of Large Language Models [5.642568057913696]
  本稿では,大規模言語モデル(LLM)とベイジアン最適化を統合したアナログ設計最適化手法であるADO-LLMを提案する。 ADO-LLMは、LLMのドメイン知識を注入して実行可能な設計ポイントを迅速に生成し、高価値な設計領域を見つけるためのBOの非効率性を改善する能力を活用している。 提案手法を2種類のアナログ回路上で評価し,設計効率と性能の顕著な向上を実証した。
  論文  参考訳（メタデータ） (2024-06-26T21:42:50Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• Fusion of ML with numerical simulation for optimized propeller design [0.6767885381740952]
  設計プロセスのサロゲートにMLモデルを使用する方法を提案する。 このトレーニングされたサロゲートモデルと従来の最適化手法を用いることで、両方の世界の長所を得られる。 プロペラ設計問題に対する実証的な評価は、SAOを用いたより少ない評価でより効率的な設計を見出すことができることを示している。
  論文  参考訳（メタデータ） (2023-02-28T16:42:07Z)
• Meta Reinforcement Learning for Optimal Design of Legged Robots [9.054187238463212]
  モデルなしメタ強化学習を用いた設計最適化フレームワークを提案する。 提案手法は,事前定義された動作や歩行パターンに制約されずに,より高い性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-06T08:37:52Z)
• Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques [55.492211642128446]
  設計者は、与えられた目的の集合を最大化する設計パラメータの組み合わせを見つけるよう求められる設計最適化タスクに苦労すると言われている。 モデルベースの計算設計アルゴリズムは、設計中に設計例を生成することでデザイナを支援する。 一方、補助のためのブラックボックスメソッドは、あらゆる設計問題に対処できる。
  論文  参考訳（メタデータ） (2022-04-15T20:40:43Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。