論文の概要: Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond

• arxiv url: http://arxiv.org/abs/2501.10945v3
• Date: Wed, 06 Aug 2025 06:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:07.807839
• Title: Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond
• Title（参考訳）: 勾配に基づく多目的ディープラーニング:アルゴリズム、理論、応用など
• Authors: Weiyu Chen, Baijiong Lin, Xiaoyuan Zhang, Xi Lin, Han Zhao, Qingfu Zhang, James T. Kwok,
• Abstract要約: 本稿では,多目的深層学習のための勾配に基づく手法を包括的に調査する。 既存のアルゴリズムを出力に基づいて体系的に分類する。 この分類に加えて、この調査は理論分析、重要な応用、実践的資源をカバーし、今後の研究に向けたオープンな課題と有望な方向性を強調している。
• 参考スコア（独自算出の注目度）: 35.78910104369677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many modern deep learning applications require balancing multiple objectives that are often conflicting. Examples include multi-task learning, fairness-aware learning, and the alignment of Large Language Models (LLMs). This leads to multi-objective deep learning, which tries to find optimal trade-offs or Pareto-optimal solutions by adapting mathematical principles from the field of Multi-Objective Optimization (MOO). However, directly applying gradient-based MOO techniques to deep neural networks presents unique challenges, including high computational costs, optimization instability, and the difficulty of effectively incorporating user preferences. This paper provides a comprehensive survey of gradient-based techniques for multi-objective deep learning. We systematically categorize existing algorithms based on their outputs: (i) methods that find a single, well-balanced solution, (ii) methods that generate a finite set of diverse Pareto-optimal solutions, and (iii) methods that learn a continuous Pareto set of solutions. In addition to this taxonomy, the survey covers theoretical analyses, key applications, practical resources, and highlights open challenges and promising directions for future research. A comprehensive list of multi-objective deep learning algorithms is available at https://github.com/Baijiong-Lin/Awesome-Multi-Objective-Deep-Learning.
• Abstract（参考訳）: 現代のディープラーニングアプリケーションの多くは、しばしば矛盾する複数の目的のバランスを必要とする。 例えば、マルチタスク学習、公正な学習、大規模言語モデル(LLM)のアライメントなどがある。 これは多目的ディープラーニングにつながり、多目的最適化(MOO)の分野から数学的原理を適用することで最適なトレードオフやパレート最適解を見つけ出そうとする。 しかし、勾配に基づくMOO技術を直接深層ニューラルネットワークに適用すると、高い計算コスト、最適化の不安定性、ユーザの好みを効果的に取り入れることの難しさなど、ユニークな課題が生じる。 本稿では,多目的深層学習のための勾配に基づく手法を包括的に調査する。 既存のアルゴリズムを出力に基づいて体系的に分類する。 一 一つのバランスのとれた解を見つける方法 (ii)多様なパレート最適解の有限集合を生成する方法、及び (iii) 連続したPareto集合の解を学ぶ方法。 この分類に加えて、この調査は理論分析、重要な応用、実践的資源をカバーし、今後の研究に向けたオープンな課題と有望な方向性を強調している。 多目的ディープラーニングアルゴリズムの包括的なリストはhttps://github.com/Baijiong-Lin/Awesome-Multi-Objective-Deep-Learningで公開されている。

関連論文リスト

• Aligning Multimodal LLM with Human Preference: A Survey [62.89722942008262]
  大規模言語モデル(LLM)は、タスク固有のトレーニングを必要とせずに、単純なプロンプトで幅広い汎用タスクを処理できる。 MLLM(Multimodal Large Language Models)は、視覚的、聴覚的、テキスト的データを含む複雑なタスクに対処する大きな可能性を実証している。 しかし、真理性、安全性、o1のような推論、および人間の嗜好との整合性に関する重要な問題は未解決のままである。
  論文  参考訳（メタデータ） (2025-03-18T17:59:56Z)
• Multi-objective Deep Learning: Taxonomy and Survey of the State of the Art [1.534667887016089]
  本調査は,多目的深層学習の分野における最近の進歩について報告する。 本稿では,学習アルゴリズムの種類と意思決定者のニーズに基づく既存手法の分類について紹介する。 教師なし学習、教師なし学習、強化学習の3つの主要な学習パラダイムが網羅され、また、最近非常に人気のあるジェネレーティブモデリングの領域にも対処する。
  論文  参考訳（メタデータ） (2024-12-02T14:51:21Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• PMGDA: A Preference-based Multiple Gradient Descent Algorithm [12.600588000788214]
  マルチタスク学習のような、多くの多目的機械学習アプリケーションにおいて、意思決定者の所定の好みに合ったソリューションを見つけることが望ましい。 本稿では,意思決定者の好みに合ったソリューションを見つけるための,新しい予測と修正のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-14T11:27:31Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Pareto Set Learning for Neural Multi-objective Combinatorial Optimization [6.091096843566857]
  多目的最適化(MOCO)の問題は、現実世界の多くのアプリケーションで見られる。 我々は,与えられたMOCO問題に対するパレート集合全体を,探索手順を伴わずに近似する学習ベースアプローチを開発した。 提案手法は,多目的走行セールスマン問題,マルチコンディショニング車両ルーティング問題,複数クナップサック問題において,ソリューションの品質,速度,モデル効率の面で,他の方法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-29T09:26:22Z)
• A Review on Methods and Applications in Multimodal Deep Learning [8.152125331009389]
  マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。 本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。 様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
  論文  参考訳（メタデータ） (2022-02-18T13:50:44Z)
• Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning [113.05118113697111]
  少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。 少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。 本稿では,メタナビゲータ(Meta Navigator)について紹介する。
  論文  参考訳（メタデータ） (2021-09-13T07:20:01Z)
• MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization [10.614594804236893]
  本稿では、時間窓付き多目的車両ルーティング問題と呼ばれる典型的な複雑な問題に対して、進化学習アルゴリズムを用いた多目的深部強化学習を提案する。 MO-VRPTWインスタンスの実験結果は、提案アルゴリズムが他の学習ベースおよび反復型アプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-16T15:22:20Z)
• Recent Advances and Trends in Multimodal Deep Learning: A Review [9.11022096530605]
  マルチモーダルディープラーニングは、様々なモーダルを使って情報を処理およびリンクできるモデルを作成することを目的としている。 本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。 様々なマルチモーダル深層学習応用のきめ細かい分類法が提案され、様々な応用をより深く研究している。
  論文  参考訳（メタデータ） (2021-05-24T04:20:45Z)
• Multi-Objective Meta Learning [2.9932638148627104]
  統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。 提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
  論文  参考訳（メタデータ） (2021-02-14T10:23:09Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• Structure preserving deep learning [1.2263454117570958]
  深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
  論文  参考訳（メタデータ） (2020-06-05T10:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。