論文の概要: Efficient Robust Optimal Transport with Application to Multi-Label Classification

• arxiv url: http://arxiv.org/abs/2010.11852v2
• Date: Thu, 7 Oct 2021 07:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 08:09:01.381829
• Title: Efficient Robust Optimal Transport with Application to Multi-Label Classification
• Title（参考訳）: 効率的なロバスト最適輸送とマルチラベル分類への応用
• Authors: Pratik Jawanpuria, N T V Satyadev, and Bamdev Mishra
• Abstract要約: OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。 結果の最適化問題を非線形OT問題とみなし,Frank-Wolfeアルゴリズムを用いて解く。 タグ予測や多クラス分類などの識別学習環境における実証的な結果から,本手法の有効性が示唆された。
• 参考スコア（独自算出の注目度）: 12.521494095948068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal transport (OT) is a powerful geometric tool for comparing two distributions and has been employed in various machine learning applications. In this work, we propose a novel OT formulation that takes feature correlations into account while learning the transport plan between two distributions. We model the feature-feature relationship via a symmetric positive semi-definite Mahalanobis metric in the OT cost function. For a certain class of regularizers on the metric, we show that the optimization strategy can be considerably simplified by exploiting the problem structure. For high-dimensional data, we additionally propose suitable low-dimensional modeling of the Mahalanobis metric. Overall, we view the resulting optimization problem as a non-linear OT problem, which we solve using the Frank-Wolfe algorithm. Empirical results on the discriminative learning setting, such as tag prediction and multi-class classification, illustrate the good performance of our approach.
• Abstract（参考訳）: 最適輸送(OT)は2つの分布を比較するための強力な幾何学的ツールであり、様々な機械学習アプリケーションで使われている。 本研究では,2つの分布間の輸送計画の学習中に特徴相関を考慮した新しいOT定式化を提案する。 OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。 計量上のある種の正則化器については,問題構造を利用して最適化戦略をかなり単純化できることが示される。 また,高次元データに対して,マハラノビス計量の適切な低次元モデリングを提案する。 全体として、結果の最適化問題を非線形OT問題とみなし、Frank-Wolfeアルゴリズムを用いて解決する。 タグ予測やマルチクラス分類などの識別学習設定における経験的な結果から,このアプローチの優れた性能を示す。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Unbalanced Optimal Transport meets Sliced-Wasserstein [11.44982599214965]
  本研究では、不均衡なOTをスライスするアイデアに基づく2つの新しい損失関数を提案し、その位相と統計的性質について検討する。 結果の方法論がモジュール化され、それに関連する作業が包含され、拡張されることが示されます。
  論文  参考訳（メタデータ） (2023-06-12T15:15:00Z)
• Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives [10.514866749547558]
  マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合上で協調的に訓練される問題を考える。 我々のフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値がタスク間で異なることである。 提案手法は,1) 係数のサポートを個別に促進し,2) 非ゼロ係数の値を類似させることにより,タスク間の情報共有を奨励する。 これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
  論文  参考訳（メタデータ） (2022-12-16T19:52:25Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation [120.69747175899421]
  ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-12T17:13:40Z)
• Feature Robust Optimal Transport for High-dimensional Data [125.04654605998618]
  本研究では,高次元データに対する特徴量ロバスト最適輸送(FROT)を提案する。 実世界の意味対応データセットにおいて,FROTアルゴリズムが最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-05-25T14:07:16Z)
• Learning Cost Functions for Optimal Transport [44.64193016158591]
  逆最適輸送(英: Inverse optimal transport, OT)とは、観測された輸送計画またはそのサンプルから、OTのコスト関数を学習する問題を指す。 逆OT問題の制約のない凸最適化式を導出し、任意のカスタマイズ可能な正規化によりさらに拡張することができる。
  論文  参考訳（メタデータ） (2020-02-22T07:27:17Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。