論文の概要: Mixing Deep Learning and Multiple Criteria Optimization: An Application to Distributed Learning with Multiple Datasets

• arxiv url: http://arxiv.org/abs/2112.01358v1
• Date: Thu, 2 Dec 2021 16:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 21:22:01.108247
• Title: Mixing Deep Learning and Multiple Criteria Optimization: An Application to Distributed Learning with Multiple Datasets
• Title（参考訳）: ディープラーニングと多重基準最適化の混合:複数データセットによる分散学習への応用
• Authors: Davide La Torre, Danilo Liuzzi, Marco Repetto, Matteo Rocca
• Abstract要約: トレーニングフェーズは、マシンラーニングプロセスにおいて最も重要なステージです。 本研究では,特定の入力とラベルに関連付けられた出力との距離を基準として,複数の基準最適化モデルを構築した。 MNISTデータを用いた数値分類において,このモデルと数値実験を実現するためのスカラー化手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The training phase is the most important stage during the machine learning process. In the case of labeled data and supervised learning, machine training consists in minimizing the loss function subject to different constraints. In an abstract setting, it can be formulated as a multiple criteria optimization model in which each criterion measures the distance between the output associated with a specific input and its label. Therefore, the fitting term is a vector function and its minimization is intended in the Pareto sense. We provide stability results of the efficient solutions with respect to perturbations of input and output data. We then extend the same approach to the case of learning with multiple datasets. The multiple dataset environment is relevant when reducing the bias due to the choice of a specific training set. We propose a scalarization approach to implement this model and numerical experiments in digit classification using MNIST data.
• Abstract（参考訳）: トレーニングフェーズは、機械学習プロセスにおいて最も重要なステージです。 ラベル付きデータと教師付き学習の場合、機械訓練は、異なる制約を受ける損失関数を最小化する。 抽象的な設定では、各基準が特定の入力とそのラベルに関連する出力間の距離を測定する多重基準最適化モデルとして定式化することができる。 したがって、嵌合項はベクトル関数であり、その最小化はパレートの意味で意図される。 入力および出力データの摂動に対する効率的な解の安定性結果を提供する。 そして、同じアプローチを複数のデータセットで学習する場合にも拡張します。 特定のトレーニングセットの選択によるバイアスを減らす場合には、複数のデータセット環境が関係します。 MNISTデータを用いた数値分類において,このモデルと数値実験を実現するためのスカラー化手法を提案する。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• On minimizing the training set fill distance in machine learning regression [0.552480439325792]
  本研究では,選択した集合の充填距離を最小化することを目的としたデータ選択手法を提案する。 FPSを用いてトレーニングセットを選択することで、ガウスカーネル回帰アプローチの特定の場合のモデルの安定性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-20T16:18:33Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• A Penalty Approach for Normalizing Feature Distributions to Build Confounder-Free Models [11.818509522227565]
  MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。 罰則法(PDMN)を適用してMDN法を拡張した。 MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
  論文  参考訳（メタデータ） (2022-07-11T04:02:12Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Finding High-Value Training Data Subset through Differentiable Convex Programming [5.5180456567480896]
  本稿では,トレーニングデータの高値部分集合を選択する問題について検討する。 重要なアイデアは、オンラインサブセット選択のための学習可能なフレームワークを設計することです。 このフレームワークを用いて,選択モデルとmlモデルのパラメータを共同で学習するオンライン交流最小化アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-04-28T14:33:26Z)
• Balancing Constraints and Submodularity in Data Subset Selection [43.03720397062461]
  より少ないトレーニングデータを用いて、従来のディープラーニングモデルと同様の精度が得られることを示す。 新たな多様性駆動客観的関数を提案し,マトロイドを用いたクラスラベルと決定境界の制約のバランスをとる。
  論文  参考訳（メタデータ） (2021-04-26T19:22:27Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
  教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。 メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
  論文  参考訳（メタデータ） (2020-09-10T15:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。