論文の概要: Efficient first-order predictor-corrector multiple objective optimization for fair misinformation detection

• arxiv url: http://arxiv.org/abs/2209.07245v1
• Date: Thu, 15 Sep 2022 12:32:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 13:46:39.152867
• Title: Efficient first-order predictor-corrector multiple objective optimization for fair misinformation detection
• Title（参考訳）: 公平な誤情報検出のための効率的一階予測-補正多目的最適化
• Authors: Eric Enouen and Katja Mathesius and Sean Wang and Arielle Carr and Sihong Xie
• Abstract要約: 多重目的最適化(MOO)は、複数の競合する目的を同時に最適化することを目的としており、機械学習において重要な応用を見出した。 本稿では,線形にしかスケールしないガウスニュートン近似を提案し,イテレーション毎に一階内積しか必要としない。 このイノベーションは、大規模ネットワークで予測器のコレクタを可能にする。
• 参考スコア（独自算出の注目度）: 5.139559672771439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple-objective optimization (MOO) aims to simultaneously optimize multiple conflicting objectives and has found important applications in machine learning, such as minimizing classification loss and discrepancy in treating different populations for fairness. At optimality, further optimizing one objective will necessarily harm at least another objective, and decision-makers need to comprehensively explore multiple optima (called Pareto front) to pinpoint one final solution. We address the efficiency of finding the Pareto front. First, finding the front from scratch using stochastic multi-gradient descent (SMGD) is expensive with large neural networks and datasets. We propose to explore the Pareto front as a manifold from a few initial optima, based on a predictor-corrector method. Second, for each exploration step, the predictor solves a large-scale linear system that scales quadratically in the number of model parameters and requires one backpropagation to evaluate a second-order Hessian-vector product per iteration of the solver. We propose a Gauss-Newton approximation that only scales linearly, and that requires only first-order inner-product per iteration. This also allows for a choice between the MINRES and conjugate gradient methods when approximately solving the linear system. The innovations make predictor-corrector possible for large networks. Experiments on multi-objective (fairness and accuracy) misinformation detection tasks show that 1) the predictor-corrector method can find Pareto fronts better than or similar to SMGD with less time; and 2) the proposed first-order method does not harm the quality of the Pareto front identified by the second-order method, while further reduce running time.
• Abstract（参考訳）: 多目的最適化(MOO)は、複数の競合する目的を同時に最適化することを目的としており、分類損失の最小化や、異なる集団を公平に扱う際の不一致など、機械学習において重要な応用を見出している。 最適性において、ある目的をさらに最適化することは、少なくとも別の目的を損なうことは必然であり、意思決定者は1つの最終解を見極めるために、複数の最適化(パレートフロントと呼ばれる)を包括的に探索する必要がある。 我々はパレート前線を見つける効率について論じる。 まず、確率的多段階降下(SMGD)を使用してスクラッチから正面を見つけることは、大きなニューラルネットワークとデータセットで高価である。 本稿では,数個の初期最適値からパレートフロントを多様体として探索することを提案する。 第二に、探索の各ステップにおいて、予測器はモデルパラメータの2次スケールの大規模線形系を解き、解法の反復ごとに2階のヘッセンベクトル積を評価するために1つのバックプロパゲーションを必要とする。 線形にスケールし,イテレーション毎に1次内積のみを必要とするgauss-newton近似を提案する。 これにより、線形系をおよそ解く際に、MINRESと共役勾配法を選択できる。 イノベーションによって、大規模なネットワークで予測訂正が可能になる。 多目的(フェアネスと精度)誤情報検出課題の実験 1)予測器・相関器法は、より少ない時間で、SMGDに類似したパレートフロントを見つけることができる。 2) 提案手法は, 2次法で同定されたパレートフロントの品質を損なうことなく, ランニング時間を短縮する。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Combining Kernelized Autoencoding and Centroid Prediction for Dynamic Multi-objective Optimization [3.431120541553662]
  本稿では,カーネル化された自己コード進化探索と遠近法に基づく予測を組み合わせた統一パラダイムを提案する。 提案手法は,多くの複雑なベンチマーク問題に対して,最先端の5つのアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2023-12-02T00:24:22Z)
• DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
  決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。 既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
  論文  参考訳（メタデータ） (2023-08-11T00:44:46Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Training Neural Networks in Single vs Double Precision [8.036150169408241]
  共役勾配アルゴリズムとRMSpropアルゴリズムは平均二乗誤差に最適化される。 実験の結果,直線探索が改良された場合,単精度は2倍精度で追従できることがわかった。 強い非線形問題に対して、両方のアルゴリズムクラスは平均二乗誤差の点で解がかなり乏しいだけである。
  論文  参考訳（メタデータ） (2022-09-15T11:20:53Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• An Online Prediction Approach Based on Incremental Support Vector Machine for Dynamic Multiobjective Optimization [19.336520152294213]
  インクリメンタルサポートベクトルマシン(ISVM)に基づく新しい予測アルゴリズムを提案する。 動的多目的最適化問題(DMOP)の解決をオンライン学習プロセスとして扱う。 提案アルゴリズムは動的多目的最適化問題に効果的に取り組むことができる。
  論文  参考訳（メタデータ） (2021-02-24T08:51:23Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• A Hybrid Two-layer Feature Selection Method Using GeneticAlgorithm and Elastic Net [6.85316573653194]
  本稿では,ラッパーと組込み方式を組み合わせたハイブリッドな2層特徴選択手法を提案する。 遺伝的アルゴリズム(GA)は、予測子の最適なサブセットを探索するラッパーとして採用されている。 提案手法に第2層を追加し,残余/非関連予測器を除去し,予測精度を向上させる。
  論文  参考訳（メタデータ） (2020-01-30T05:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。