論文の概要: Interactive Pareto navigation for deep multi-task learning

• arxiv url: http://arxiv.org/abs/2606.19521v1
• Date: Wed, 17 Jun 2026 19:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.495032
• Title: Interactive Pareto navigation for deep multi-task learning
• Title（参考訳）: 深層多タスク学習のための対話型パレートナビゲーション
• Authors: Augustina C. Amakor, Konstantin Sonntag, Sebastian Peitz,
• Abstract要約: マルチタスク学習では,目標数の増加に対処することが急速に困難になる。 したがって、広く使われているアプローチは、1つの損失関数における個々の損失を重み付き和で集約するものである。 これは、意思決定者の好みや、ディープラーニングアプリケーションでは極めて高価になる複数の調整と計算のいずれかをキャプチャできないことが多い。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In multi-task learning, handling an increasing number of objectives can quickly become challenging, both in terms of the computational resources and the decision maker's capacity to choose appropriate trade-offs. A widely used approach is thus to aggregate the individual losses in a single loss function by a weighted sum. This often fails to capture either the decision maker's preferences as a result of the shape of the Pareto front, or requires multiple adjustments and computations which becomes prohibitively expensive in deep learning applications. To address these issues, we introduce a novel framework, Preference Pareto Exploration (PPE), which enforces the decision maker's preferences while accounting for the geometry of the Pareto set in an interactive exploration process. PPE is based on a predictor-corrector method that performs predictor steps tangential to the manifold of Pareto-optimal solutions, following the decision maker's preference. The subsequent corrector step results in a new trade-off reflecting this preference. To avoid explicit Hessian computations when characterizing the tangent space of the manifold, we employ a Krylov subspace method that relies solely on matrix-vector products. These products can be efficiently obtained via automatic differentiation, ensuring both efficiency and robustness throughout the optimization process. The method's functionality and performance are demonstrated using both toy problems and examples from deep learning.
• Abstract（参考訳）: マルチタスク学習では、計算資源と意思決定者の適切なトレードオフを選択する能力の両方の観点から、目的の数が増加するとすぐに困難になる。 したがって、広く使われているアプローチは、1つの損失関数における個々の損失を重み付き和で集約するものである。 これはしばしば、Paretoフロントの形状が原因で意思決定者の好みを捉えるか、あるいはディープラーニングアプリケーションでは違法に高価になる複数の調整と計算を必要とする。 これらの課題に対処するため,我々は,対話的な探索プロセスにおいてパレート集合の幾何学を考慮しつつ,意思決定者の好みを強制する新しい枠組みであるPPE(Preference Pareto Exploration)を導入する。 PPEは、意思決定者の好みに従って、パレート最適解の多様体に比例した予測器ステップを実行する予測器-コレクタ法に基づいている。 その後の修正ステップは、この好みを反映した新たなトレードオフをもたらす。 多様体の接空間を特徴づける際の明示的なヘッセン計算を避けるために、行列ベクトル積のみに依存するクリロフ部分空間法を用いる。 これらの製品は自動微分によって効率よく得られ、最適化プロセスを通して効率性と堅牢性を確保することができる。 この手法の機能と性能は、おもちゃの問題とディープラーニングの例の両方を用いて実証される。

関連論文リスト

• Self-Supervised Penalty-Based Learning for Robust Constrained Optimization [4.297070083645049]
  本稿では,自己教師付きペナルティに基づく損失関数を用いた学習に基づいて,パラメータ化制約付きロバスト最適化のための新しい手法を提案する。 我々のアプローチは、従来の解法よりも推論時間がかなり小さいニューラルネットワーク近似を効果的に学習することができる。
  論文  参考訳（メタデータ） (2025-03-07T06:42:17Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• PMGDA: A Preference-based Multiple Gradient Descent Algorithm [12.600588000788214]
  マルチタスク学習のような、多くの多目的機械学習アプリケーションにおいて、意思決定者の所定の好みに合ったソリューションを見つけることが望ましい。 本稿では,意思決定者の好みに合ったソリューションを見つけるための,新しい予測と修正のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-14T11:27:31Z)
• Data-Efficient Interactive Multi-Objective Optimization Using ParEGO [6.042269506496206]
  多目的最適化は、競合する目的間の最適なトレードオフを提供する非支配的なソリューションの集合を特定することを目的としている。 実践的な応用では、意思決定者(DM)は実装すべき好みに合わせて単一のソリューションを選択する。 そこで本稿では,パレートフロントの最も好まれる領域を,高コストで評価できる2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-12T15:55:51Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• Multi-Objective Learning to Predict Pareto Fronts Using Hypervolume Maximization [0.0]
  現実の問題は、しばしば多目的であり、意思決定者は、対立する目的の間のトレードオフが好ましい優先順位を特定できない。 本研究では,学習者の集合に対応する平均損失ベクトルの高体積(HV)を最大化することにより,パレートフロントを推定する新しい学習手法を提案する。 提案手法では,学習者の集合を動的損失関数で多目的に訓練し,各学習者の損失をHV最大化勾配によって重み付けする。 3つの異なる多目的タスクに対する実験は、学習者の集合の出力が実際に十分に拡散していることを示している
  論文  参考訳（メタデータ） (2021-02-08T20:41:21Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。