論文の概要: Quality-Diversity with Limited Resources

• arxiv url: http://arxiv.org/abs/2406.03731v1
• Date: Thu, 6 Jun 2024 04:06:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 18:25:49.931168
• Title: Quality-Diversity with Limited Resources
• Title（参考訳）: 限られた資源による品質多様性
• Authors: Ren-Jian Wang, Ke Xue, Cong Guan, Chao Qian,
• Abstract要約: RefQDはニューラルネットワークを表現部と決定部に分解する。 リソースオーバーヘッドを減らすため、アーカイブ内のすべての決定部分と表現部分を共有する。 サンプル効率のよいQDアルゴリズムと比較すると、同等か良い性能が得られる。
• 参考スコア（独自算出の注目度）: 23.891258120466105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quality-Diversity (QD) algorithms have emerged as a powerful optimization paradigm with the aim of generating a set of high-quality and diverse solutions. To achieve such a challenging goal, QD algorithms require maintaining a large archive and a large population in each iteration, which brings two main issues, sample and resource efficiency. Most advanced QD algorithms focus on improving the sample efficiency, while the resource efficiency is overlooked to some extent. Particularly, the resource overhead during the training process has not been touched yet, hindering the wider application of QD algorithms. In this paper, we highlight this important research question, i.e., how to efficiently train QD algorithms with limited resources, and propose a novel and effective method called RefQD to address it. RefQD decomposes a neural network into representation and decision parts, and shares the representation part with all decision parts in the archive to reduce the resource overhead. It also employs a series of strategies to address the mismatch issue between the old decision parts and the newly updated representation part. Experiments on different types of tasks from small to large resource consumption demonstrate the excellent performance of RefQD: it not only uses significantly fewer resources (e.g., 16\% GPU memories on QDax and 3.7\% on Atari) but also achieves comparable or better performance compared to sample-efficient QD algorithms. Our code is available at \url{https://github.com/lamda-bbo/RefQD}.
• Abstract（参考訳）: 品質多様性(QD)アルゴリズムは、高品質で多様なソリューションのセットを生成するために、強力な最適化パラダイムとして登場した。 このような挑戦的な目標を達成するために、QDアルゴリズムは、大規模なアーカイブと、各イテレーションにおける大きな人口の維持を必要とし、サンプルとリソースの効率の2つの主要な問題をもたらす。 ほとんどの先進的なQDアルゴリズムはサンプル効率の改善に重点を置いているが、資源効率はある程度見過ごされている。 特に、トレーニングプロセス中のリソースオーバーヘッドにはまだ触れておらず、QDアルゴリズムの適用を妨げている。 本稿では、この重要な研究課題、すなわち、限られたリソースでQDアルゴリズムを効率的に訓練する方法を強調し、それに対応するためにRefQDと呼ばれる新しい効果的な方法を提案する。 RefQDは、ニューラルネットワークを表現部と決定部に分解し、表現部をアーカイブ内のすべての決定部と共有し、リソースオーバーヘッドを低減する。 また、古い決定部分と新しく更新された表現部分との間のミスマッチ問題に対処するための一連の戦略も採用している。 例えば、QDaxで16\%のGPUメモリ、Atariで3.7\%のGPUメモリを使用するだけでなく、サンプル効率のQDアルゴリズムと比較して、同等またはより良いパフォーマンスを達成する。 私たちのコードは \url{https://github.com/lamda-bbo/RefQD} で利用可能です。

関連論文リスト

• A QoE-Aware Split Inference Accelerating Algorithm for NOMA-based Edge Intelligence [20.67035066213381]
  本稿では,エッジインテリジェンスにおける分割推論の高速化を目的として,効率的な資源割当アルゴリズムを提案する。 ERAは、最適なモデル分割戦略とリソース割り当て戦略を見つけるために、リソース消費、QoE、および推論遅延を考慮に入れます。 実験結果から,ERAの性能は従来の研究よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-25T01:09:45Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Quality-Diversity Algorithms Can Provably Be Helpful for Optimization [24.694984679399315]
  QD(Quality-Diversity)アルゴリズムは、ハイパフォーマンスだが多様なソリューションのセットを見つけることを目的としている。 本稿では,厳密な実行時間解析によってQDアルゴリズムの最適化能力に光を当てようとしている。
  論文  参考訳（メタデータ） (2024-01-19T07:40:24Z)
• Improving and Benchmarking Offline Reinforcement Learning Algorithms [87.67996706673674]
  この作業は、低レベルの選択とデータセットによって引き起こされるギャップを埋めることを目的としている。 3つの代表アルゴリズムを用いて20の実装選択を実証的に検討する。 CRR+とCQL+の2つの変種がD4RL上で新たな最先端を実現している。
  論文  参考訳（メタデータ） (2023-06-01T17:58:46Z)
• Efficient Quality-Diversity Optimization through Diverse Quality Species [3.428706362109921]
  我々は,アーカイブの必要をなくしたり,事前の動作範囲を定義したりすることなく,多様な解の集団を見つけることができることを示す。 本稿では,アーカイブベースの品質多様性(QD)アルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。
  論文  参考訳（メタデータ） (2023-04-14T23:15:51Z)
• RELS-DQN: A Robust and Efficient Local Search Framework for Combinatorial Optimization [11.269582666887324]
  本稿では,DQNフレームワークのRELS-DQNを紹介する。 1つのアプリケーションでトレーニングされたRELS-DQNモデルを使用することで、ローカル検索アルゴリズムと既存のDQNモデルの両方に等しい解値を提供することで、様々なアプリケーションに一般化することができる。
  論文  参考訳（メタデータ） (2023-04-11T18:01:49Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
  資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
  論文  参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。