論文の概要: Jacobian Descent for Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2406.16232v2
• Date: Fri, 04 Oct 2024 13:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:07:25.633964
• Title: Jacobian Descent for Multi-Objective Optimization
• Title（参考訳）: 多目的最適化のためのヤコビアン Descent
• Authors: Pierre Quinton, Valérian Rey,
• Abstract要約: 勾配降下は単目的最適化に限られる。 Jacobian descent (JD) はベクトル値の目的関数のヤコビ行列を用いてパラメータを反復的に更新する。
• 参考スコア（独自算出の注目度）: 0.6138671548064355
• License:
• Abstract: Many optimization problems require balancing multiple conflicting objectives. As gradient descent is limited to single-objective optimization, we introduce its direct generalization: Jacobian descent (JD). This algorithm iteratively updates parameters using the Jacobian matrix of a vector-valued objective function, in which each row is the gradient of an individual objective. While several methods to combine gradients already exist in the literature, they are generally hindered when the objectives conflict. In contrast, we propose projecting gradients to fully resolve conflict while ensuring that they preserve an influence proportional to their norm. We prove significantly stronger convergence guarantees with this approach, supported by our empirical results. Our method also enables instance-wise risk minimization (IWRM), a novel learning paradigm in which the loss of each training example is considered a separate objective. Applied to simple image classification tasks, IWRM exhibits promising results compared to the direct minimization of the average loss. Additionally, we outline an efficient implementation of JD using the Gramian of the Jacobian matrix to reduce time and memory requirements.
• Abstract（参考訳）: 多くの最適化問題は、複数の矛盾する目標のバランスを必要とする。 勾配降下は単目的最適化に制限されるため、直接一般化であるジャコビアン降下(JD)を導入する。 このアルゴリズムは、各行が個々の目的物の勾配であるベクトル値対象関数のヤコビ行列を用いてパラメータを反復的に更新する。 グラデーションを結合するいくつかの方法は文献にすでに存在するが、目的が矛盾すると一般的に妨げられる。 対照的に、対立を完全に解決し、彼らの規範に比例する影響を保ちながら、対立を完全に解決する投射勾配を提案する。 実験結果によって支持されたこのアプローチにより、はるかに強い収束保証が証明される。 また,各学習例の損失を個別の目的とみなす新たな学習パラダイムであるIWRM(インスタンスワイドリスク最小化)も実現している。 IWRMは、単純な画像分類タスクに適用し、平均損失の直接最小化よりも有望な結果を示す。 さらに,ジャコビアン行列のグラムを用いたJDの効率的な実装について概説した。

関連論文リスト

• Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation [40.18851174642427]
  深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である 本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。 グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。 SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
  論文  参考訳（メタデータ） (2023-08-11T08:44:58Z)
• Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms [12.776767874217663]
  本稿では,方向近傍の共通降下方向を正規化することにより,新たな方向指向多目的問題を提案する。 マルチタスク型教師付き学習と強化学習の一連の課題において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T16:13:59Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Global and Preference-based Optimization with Mixed Variables using Piecewise Affine Surrogates [0.6083861980670925]
  本稿では,線形制約付き混合変数問題の解法として,新しいサロゲートに基づく大域的最適化アルゴリズムを提案する。 目的関数はブラックボックスとコスト対評価であり、線形制約は予測不可能な事前知識である。 本稿では,2種類の探索関数を導入し,混合整数線形計画解法を用いて実現可能な領域を効率的に探索する。
  論文  参考訳（メタデータ） (2023-02-09T15:04:35Z)
• Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
  教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。 本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
  論文  参考訳（メタデータ） (2022-09-28T15:13:58Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Distribution-aware Margin Calibration for Semantic Segmentation in Images [78.65312390695038]
  ジャカードインデックス(ジャカードインデックス、Intersection-over-Union、IoU)は、画像セマンティックセグメンテーションにおいて最も重要な評価指標の一つである。 IoUスコアの直接最適化は非常に困難である。 学習目的として直接使用できるマージン校正法を提案し,データ分散に対するIoUの一般化を改良する。
  論文  参考訳（メタデータ） (2021-12-21T22:38:25Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
  複数の異なる損失を最小化しなければならない最適化問題を考える。 提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
  論文  参考訳（メタデータ） (2020-07-14T09:50:33Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。