論文の概要: How to Fill the Optimum Set? Population Gradient Descent with Harmless Diversity

• arxiv url: http://arxiv.org/abs/2202.08376v1
• Date: Wed, 16 Feb 2022 23:40:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 14:34:13.419466
• Title: How to Fill the Optimum Set? Population Gradient Descent with Harmless Diversity
• Title（参考訳）: 最適なセットをどのように満たすか? 無害な多様性をもつ個体群勾配降下
• Authors: Chengyue Gong, Lemeng Wu, Qiang Liu
• Abstract要約: 主損失関数の最適セット内における多様性スコアを最大化する二段階最適化問題を提案する。 提案手法は,テキスト・ツー・イメージ生成,テキスト・ツー・メッシュ生成,分子コンフォーメーション生成,アンサンブルニューラルネットワークトレーニングなど,さまざまなアプリケーション上で,多様なソリューションを効率的に生成できることを示す。
• 参考スコア（独自算出の注目度）: 34.790747999729284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although traditional optimization methods focus on finding a single optimal solution, most objective functions in modern machine learning problems, especially those in deep learning, often have multiple or infinite numbers of optima. Therefore, it is useful to consider the problem of finding a set of diverse points in the optimum set of an objective function. In this work, we frame this problem as a bi-level optimization problem of maximizing a diversity score inside the optimum set of the main loss function, and solve it with a simple population gradient descent framework that iteratively updates the points to maximize the diversity score in a fashion that does not hurt the optimization of the main loss. We demonstrate that our method can efficiently generate diverse solutions on a variety of applications, including text-to-image generation, text-to-mesh generation, molecular conformation generation and ensemble neural network training.
• Abstract（参考訳）: 従来の最適化手法は単一の最適解を見つけることに重点を置いているが、現代の機械学習問題、特にディープラーニングにおける目的関数の多くは、複数のオプティマを持つことが多い。 したがって、目的関数の最適集合における多様な点の集合を求める問題を考えることは有用である。 本研究では,この問題を,主損失関数の最適セット内における多様性スコアを最大化する二段階最適化問題とみなし,主損失関数の最適化を損なわない方法で,点を反復的に更新して多様性スコアを最大化する単純な集団勾配降下フレームワークを用いて解決する。 本手法は,テキスト対画像生成,テキスト対メッシュ生成,分子コンフォーメーション生成,アンサンブルニューラルネットワークトレーニングなど,さまざまなアプリケーションで効率的に多様な解を生成することができることを示す。

関連論文リスト

• Few for Many: Tchebycheff Set Scalarization for Many-Objective Optimization [14.355588194787073]
  多目的最適化は、競合する目的を1つのソリューションで最適化できない現実の多くのアプリケーションで見られる。 本稿では,多数の目的をカバーできるいくつかの代表解を見つけるために,新しいTchebycheff集合スカラー化法を提案する。 このようにして、それぞれの目的は、小さな解集合の少なくとも1つの解によってうまく対応できる。
  論文  参考訳（メタデータ） (2024-05-30T03:04:57Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Can the Problem-Solving Benefits of Quality Diversity Be Obtained Without Explicit Diversity Maintenance? [0.0]
  適切な比較は、emphmulti-objective Optimization frameworkに対して行われるべきだと我々は主張する。 本稿では, 個人に対する行動記述子の集合を自動的に決定するために, 次元還元を利用した手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T21:24:04Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Enhanced Opposition Differential Evolution Algorithm for Multimodal Optimization [0.2538209532048866]
  現実の問題は、本質的には複数の最適値からなるマルチモーダルである。 古典的な勾配に基づく手法は、目的関数が不連続あるいは微分不可能な最適化問題に対して失敗する。 我々は,MMOPを解くために,拡張オポポジション微分進化(EODE)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-23T16:18:27Z)
• Multi-Objective Quality Diversity Optimization [2.4608515808275455]
  MOME(Multi-Objective MAP-Elites)の多目的設定におけるMAP-Elitesアルゴリズムの拡張を提案する。 すなわち、MAP-Elitesグリッドアルゴリズムから受け継いだ多様性と、多目的最適化の強みを組み合わせる。 本手法は,標準的な最適化問題からロボットシミュレーションまで,いくつかのタスクで評価する。
  論文  参考訳（メタデータ） (2022-02-07T10:48:28Z)
• Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
  非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。 本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:53:28Z)
• An Analysis of Phenotypic Diversity in Multi-Solution Optimization [118.97353274202749]
  マルチモーダル最適化は高い適合性ソリューションを生み出し、品質の多様性は遺伝的中立性に敏感ではない。 オートエンコーダは表現型特徴を自動的に発見するために使用され、品質の多様性を備えたさらに多様なソリューションセットを生成する。
  論文  参考訳（メタデータ） (2021-05-10T10:39:03Z)
• A Framework to Handle Multi-modal Multi-objective Optimization in Decomposition-based Evolutionary Algorithms [7.81768535871051]
  分解に基づく進化的アルゴリズムは多目的最適化に優れた性能を持つ。 解空間の多様性を維持するメカニズムが欠如しているため、マルチモーダルな多目的最適化にはあまり役に立たない可能性が高い。 本稿では,マルチモーダル多目的最適化のための分解に基づく進化的アルゴリズムの性能向上のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-30T14:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。