論文の概要: Density Descent for Diversity Optimization

• arxiv url: http://arxiv.org/abs/2312.11331v2
• Date: Thu, 30 May 2024 06:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 23:32:48.337516
• Title: Density Descent for Diversity Optimization
• Title（参考訳）: 多様性最適化のための密度勾配
• Authors: David H. Lee, Anishalakshmi V. Palaparthi, Matthew C. Fontaine, Bryon Tjanaka, Stefanos Nikolaidis,
• Abstract要約: 本稿では,特徴空間の連続密度推定に基づいてCMA-ESを用いて特徴空間を探索するアルゴリズムである密度 Descent Search (DDS)を提案する。 いくつかの標準多様性最適化ベンチマークでは、DSはノベルティサーチ(NS)や他の最先端のベースラインよりも優れている。
• 参考スコア（独自算出の注目度）: 12.031970199046977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diversity optimization seeks to discover a set of solutions that elicit diverse features. Prior work has proposed Novelty Search (NS), which, given a current set of solutions, seeks to expand the set by finding points in areas of low density in the feature space. However, to estimate density, NS relies on a heuristic that considers the k-nearest neighbors of the search point in the feature space, which yields a weaker stability guarantee. We propose Density Descent Search (DDS), an algorithm that explores the feature space via CMA-ES on a continuous density estimate of the feature space that also provides a stronger stability guarantee. We experiment with DDS and two density estimation methods: kernel density estimation (KDE) and continuous normalizing flow (CNF). On several standard diversity optimization benchmarks, DDS outperforms NS, the recently proposed MAP-Annealing algorithm, and other state-of-the-art baselines. Additionally, we prove that DDS with KDE provides stronger stability guarantees than NS, making it more suitable for adaptive optimizers. Furthermore, we prove that NS is a special case of DDS that descends a KDE of the feature space.
• Abstract（参考訳）: 多様性の最適化は、多様な特徴を引き出す一連のソリューションを見つけ出そうとする。 以前の研究では、現在の解の集合が与えられたノベルティ探索 (NS) が提案されており、特徴空間の低密度領域の点を見つけることによって集合を拡張しようとしている。 しかし、密度を推定するためには、NSは特徴空間の探索点の k-アネレス近傍を考えるヒューリスティックに依存し、より弱い安定性を保証する。 本稿では,CMA-ESを用いて特徴空間を探索するアルゴリズムである密度 Descent Search (DDS)を提案する。 我々は、DDSとカーネル密度推定(KDE)と連続正規化フロー(CNF)の2つの密度推定法を実験した。 いくつかの標準多様性最適化ベンチマークでは、DDSはNS、最近提案されたMAP-Annealingアルゴリズム、その他の最先端のベースラインよりも優れている。 さらに、KDE を用いた DDS が NS よりも強い安定性を保証することを示し、適応型オプティマイザにより適していることを示す。 さらに、NS は特徴空間の KDE を下降させる DDS の特別な場合であることを示す。

関連論文リスト

• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• Towards the Uncharted: Density-Descending Feature Perturbation for Semi-supervised Semantic Segmentation [51.66997548477913]
  本稿では,DDFP(Dedentity-Descending Feature Perturbation)という特徴レベルの一貫性学習フレームワークを提案する。 半教師付き学習における低密度分離仮定にインスパイアされた私たちの重要な洞察は、特徴密度はセグメンテーション分類器が探索する最も有望な方向の光を放つことができるということである。 提案したDFFPは、機能レベルの摂動に関する他の設計よりも優れており、Pascal VOCとCityscapesのデータセット上でのアートパフォーマンスの状態を示している。
  論文  参考訳（メタデータ） (2024-03-11T06:59:05Z)
• Gradient-Informed Quality Diversity for the Illumination of Discrete Spaces [7.799824794686343]
  品質多様性(QD)アルゴリズムは、一組の局所最適化ではなく、多種多様かつ高性能なソリューションの大規模なコレクションを探すために提案されている。 本稿では、離散探索空間上の微分可能関数でQDを拡張するグラディエント・インフォームド・ディスクレット・エミッタ(ME-GIDE)を提案する。 我々は,タンパク質設計や離散潜在空間照明を含む挑戦的なベンチマークにおいて,本手法がすべてのベンチマークにおいて最先端QDアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T12:04:52Z)
• Different Tunes Played with Equal Skill: Exploring a Unified Optimization Subspace for Delta Tuning [95.72622659619445]
  デルタチューニング(DET)は、事前学習言語モデル(PLM)を使用するための新しいパラダイムであると考えられている。 これまでのところ、異なる設計要素を持つ様々なDETが提案されており、微調整と同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-24T14:57:35Z)
• Detection of Small Holes by the Scale-Invariant Robust Density-Aware Distance (RDAD) Filtration [8.1371986647556]
  確率密度関数の高密度領域で囲まれた雑音や小さな穴を識別するために,新しいトポロジカル・データ解析法(TDA)を提案する。 ロバスト密度認識距離 (RDAD) フィルターと呼ばれる別の濾過法が提案され、高密度領域の小さな穴の永続性を延長する。
  論文  参考訳（メタデータ） (2022-04-16T15:10:31Z)
• Differential Privacy Guarantees for Stochastic Gradient Langevin Dynamics [2.9477900773805032]
  定常的なステップサイズで、スムーズかつ強凸な目標に対して、プライバシー損失は指数関数的に速く収束することを示す。 本稿では,従来のDP-SGDライブラリと比較して,本手法の実用性を示す実装を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:21:31Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Density-Based Clustering with Kernel Diffusion [59.4179549482505]
  単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。 局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
  論文  参考訳（メタデータ） (2021-10-11T09:00:33Z)
• Density Constrained Reinforcement Learning [9.23225507471139]
  状態密度関数に制約を直接設定することで,新しい視点から制約付き強化学習を研究する。 我々は密度関数とQ関数の双対性を利用して、密度制約されたRL問題を最適に解く効果的なアルゴリズムを開発する。 提案アルゴリズムは, ポリシー更新が不完全である場合でも, 境界誤差のある準最適解に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-24T04:22:03Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。