論文の概要: Jacobian Descent for Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2406.16232v1
• Date: Sun, 23 Jun 2024 22:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 18:25:12.038571
• Title: Jacobian Descent for Multi-Objective Optimization
• Title（参考訳）: 多目的最適化のためのヤコビアン Descent
• Authors: Pierre Quinton, Valérian Rey,
• Abstract要約: 我々はベクトル値関数の勾配降下の一般化としてヤコビ行列(JD)を定式化する。 特に、更新はいかなる目的とも矛盾せず、各勾配の基準に比例してスケールすべきである。 最も注目すべきは、学習パラダイムであるインスタンスワイドリスク最小化(IWRM)の導入である。
• 参考スコア（独自算出の注目度）: 0.6138671548064355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many optimization problems are inherently multi-objective. To address them, we formalize Jacobian descent (JD), a direct generalization of gradient descent for vector-valued functions. Each step of this algorithm relies on a Jacobian matrix consisting of one gradient per objective. The aggregator, responsible for reducing this matrix into an update vector, characterizes JD. While the multi-task learning literature already contains a variety of aggregators, they often lack some natural properties. In particular, the update should not conflict with any objective and should scale proportionally to the norm of each gradient. We propose a new aggregator specifically designed to satisfy this. Emphasizing conflict between objectives, we then highlight direct applications for our methods. Most notably, we introduce instance-wise risk minimization (IWRM), a learning paradigm in which the loss of each training example is considered a separate objective. On simple image classification tasks, IWRM exhibits promising results compared to the direct minimization of the average loss. The performance of our aggregator in those experiments also corroborates our theoretical findings. Lastly, as speed is the main limitation of JD, we provide a path towards a more efficient implementation.
• Abstract（参考訳）: 多くの最適化問題は本質的に多目的である。 それらの問題に対処するため、ベクトル値関数に対する勾配降下の直接一般化であるヤコビアン降下(JD)を定式化する。 このアルゴリズムの各ステップは、目的ごとの1つの勾配からなるヤコビ行列に依存する。 この行列を更新ベクタに還元するアグリゲータは、JDを特徴付ける。 マルチタスク学習の文献には、既に様々なアグリゲータが含まれているが、それらは自然の性質を欠いていることが多い。 特に、更新はいかなる目的とも矛盾せず、各勾配の基準に比例してスケールすべきである。 これを満たすために特別に設計された新しいアグリゲータを提案する。 目的間の衝突を強調することで、メソッドの直接的な応用を強調します。 最も注目すべきは、学習パラダイムであるインスタンスワイドリスク最小化(IWRM)の導入である。 単純な画像分類タスクでは、IWRMは平均損失の直接最小化よりも有望な結果を示す。 これらの実験におけるアグリゲータの性能も理論的な知見を裏付けるものである。 最後に、速度がJDの主な限界であるので、より効率的な実装への道筋を提供する。

関連論文リスト

• Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation [40.18851174642427]
  深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である 本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。 グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。 SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
  論文  参考訳（メタデータ） (2023-08-11T08:44:58Z)
• Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms [12.776767874217663]
  本稿では,方向近傍の共通降下方向を正規化することにより,新たな方向指向多目的問題を提案する。 マルチタスク型教師付き学習と強化学習の一連の課題において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T16:13:59Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Global and Preference-based Optimization with Mixed Variables using Piecewise Affine Surrogates [0.6083861980670925]
  本稿では,線形制約付き混合変数問題の解法として,新しいサロゲートに基づく大域的最適化アルゴリズムを提案する。 目的関数はブラックボックスとコスト対評価であり、線形制約は予測不可能な事前知識である。 本稿では,2種類の探索関数を導入し,混合整数線形計画解法を用いて実現可能な領域を効率的に探索する。
  論文  参考訳（メタデータ） (2023-02-09T15:04:35Z)
• Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
  教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。 本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
  論文  参考訳（メタデータ） (2022-09-28T15:13:58Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Distribution-aware Margin Calibration for Semantic Segmentation in Images [78.65312390695038]
  ジャカードインデックス(ジャカードインデックス、Intersection-over-Union、IoU)は、画像セマンティックセグメンテーションにおいて最も重要な評価指標の一つである。 IoUスコアの直接最適化は非常に困難である。 学習目的として直接使用できるマージン校正法を提案し,データ分散に対するIoUの一般化を改良する。
  論文  参考訳（メタデータ） (2021-12-21T22:38:25Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
  複数の異なる損失を最小化しなければならない最適化問題を考える。 提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
  論文  参考訳（メタデータ） (2020-07-14T09:50:33Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。