論文の概要: Generalization In Multi-Objective Machine Learning

• arxiv url: http://arxiv.org/abs/2208.13499v1
• Date: Mon, 29 Aug 2022 11:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 12:49:29.391104
• Title: Generalization In Multi-Objective Machine Learning
• Title（参考訳）: 多目的機械学習における一般化
• Authors: Peter S\'uken\'ik and Christoph H. Lampert
• Abstract要約: マルチオブジェクト学習は、早期のトレードオフにコミットすることなく、このような問題に対処するための自然なフレームワークを提供する。 統計的学習理論は、これまでのところ、多目的学習の一般化特性についてはほとんど洞察を提供していない。
• 参考スコア（独自算出の注目度）: 27.806085423595334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning tasks often require considering not just one but multiple objectives. For example, besides the prediction quality, this could be the efficiency, robustness or fairness of the learned models, or any of their combinations. Multi-objective learning offers a natural framework for handling such problems without having to commit to early trade-offs. Surprisingly, statistical learning theory so far offers almost no insight into the generalization properties of multi-objective learning. In this work, we make first steps to fill this gap: we establish foundational generalization bounds for the multi-objective setting as well as generalization and excess bounds for learning with scalarizations. We also provide the first theoretical analysis of the relation between the Pareto-optimal sets of the true objectives and the Pareto-optimal sets of their empirical approximations from training data. In particular, we show a surprising asymmetry: all Pareto-optimal solutions can be approximated by empirically Pareto-optimal ones, but not vice versa.
• Abstract（参考訳）: 現代の機械学習のタスクは、1つだけでなく複数の目的も考慮する必要がある。 例えば、予測品質に加えて、これは学習したモデルの効率性、堅牢性、公正性、あるいはそれらの組み合わせのいずれかかもしれない。 マルチオブジェクト学習は、初期のトレードオフにコミットすることなく、このような問題に対処するための自然なフレームワークを提供する。 驚くべきことに、これまでの統計学習理論は、多目的学習の一般化特性についてほとんど洞察を与えていない。 本研究では,このギャップを埋める第一歩として,多目的設定の基本的な一般化境界と,スカラー化による学習の一般化と過剰な境界を確立する。 また,真の目的のパレート最適集合と,トレーニングデータからの経験的近似のパレート最適集合との関係について,最初の理論的解析を行った。 特に、驚くべき非対称性を示す: すべてのパレート最適解は、経験的にパレート最適解によって近似できるが、その逆ではない。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Machine Learning for Combinatorial Optimisation of Partially-Specified Problems: Regret Minimisation as a Unifying Lens [34.87439325210671]
  部分的に特定された最適化問題を解くことは、ますます一般的になっている。 課題は、一連の厳しい制約を考慮して、利用可能なデータからそれらを学ぶことだ。 本稿では,難解な最適化問題の目的関数を学習したと見なすことのできる,一見無関係な4つのアプローチについて概説する。
  論文  参考訳（メタデータ） (2022-05-20T13:06:29Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Pareto Navigation Gradient Descent: a First-Order Algorithm for Optimization in Pareto Set [17.617944390196286]
  マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。 勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-17T04:07:04Z)
• Multi-Objective Learning to Predict Pareto Fronts Using Hypervolume Maximization [0.0]
  現実の問題は、しばしば多目的であり、意思決定者は、対立する目的の間のトレードオフが好ましい優先順位を特定できない。 本研究では,学習者の集合に対応する平均損失ベクトルの高体積(HV)を最大化することにより,パレートフロントを推定する新しい学習手法を提案する。 提案手法では,学習者の集合を動的損失関数で多目的に訓練し,各学習者の損失をHV最大化勾配によって重み付けする。 3つの異なる多目的タスクに対する実験は、学習者の集合の出力が実際に十分に拡散していることを示している
  論文  参考訳（メタデータ） (2021-02-08T20:41:21Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• Efficient Continuous Pareto Exploration in Multi-Task Learning [34.41682709915956]
  本稿では,機械学習問題における最適解の連続解析手法を提案する。 サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
  論文  参考訳（メタデータ） (2020-06-29T23:36:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。