論文の概要: Double-Bounded Optimal Transport for Advanced Clustering and Classification

• arxiv url: http://arxiv.org/abs/2401.11418v1
• Date: Sun, 21 Jan 2024 07:43:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 16:34:17.882960
• Title: Double-Bounded Optimal Transport for Advanced Clustering and Classification
• Title（参考訳）: 高度クラスタリングと分類のためのダブルバウンド最適トランスポート
• Authors: Liangliang Shi, Zhaoqi Shen, Junchi Yan
• Abstract要約: 本稿では,2つの境界内での目標分布の制限を前提としたDB-OT(Douubly bounded Optimal Transport)を提案する。 提案手法は,テスト段階における改良された推論方式により,良好な結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 58.237576976486544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal transport (OT) is attracting increasing attention in machine learning. It aims to transport a source distribution to a target one at minimal cost. In its vanilla form, the source and target distributions are predetermined, which contracts to the real-world case involving undetermined targets. In this paper, we propose Doubly Bounded Optimal Transport (DB-OT), which assumes that the target distribution is restricted within two boundaries instead of a fixed one, thus giving more freedom for the transport to find solutions. Based on the entropic regularization of DB-OT, three scaling-based algorithms are devised for calculating the optimal solution. We also show that our DB-OT is helpful for barycenter-based clustering, which can avoid the excessive concentration of samples in a single cluster. Then we further develop DB-OT techniques for long-tailed classification which is an emerging and open problem. We first propose a connection between OT and classification, that is, in the classification task, training involves optimizing the Inverse OT to learn the representations, while testing involves optimizing the OT for predictions. With this OT perspective, we first apply DB-OT to improve the loss, and the Balanced Softmax is shown as a special case. Then we apply DB-OT for inference in the testing process. Even with vanilla Softmax trained features, our extensive experimental results show that our method can achieve good results with our improved inference scheme in the testing stage.
• Abstract（参考訳）: 機械学習において、最適な輸送(OT)が注目を集めている。 ソースの配布を最小限のコストでターゲットに転送することを目的としている。 バニラ形式では、ソースとターゲットの分布を定め、未決定のターゲットを含む実世界のケースと契約する。 本稿では, 目標分布が固定された領域ではなく2つの境界内で制限されていることを前提として, 二重境界最適輸送(DB-OT)を提案する。 db-otのエントロピー正則化に基づき,最適解を計算するために3つのスケーリングベースアルゴリズムが考案された。 また,当社のdb-otは,単一クラスタ内のサンプルの過剰な集中を回避するため,barycenterベースのクラスタリングに有用であることを示す。 そこで我々は,DB-OT技術をさらに発展させ,新たな課題である長い尾の分類を行う。 まず, otと分類の関連について提案する。すなわち, 分類タスクでは, 逆otを最適化して表現を学習し, テストでは予測のためにotを最適化する。 このOTパースペクティブでは、損失を改善するためにDB-OTを最初に適用し、特別なケースとしてバランスド・ソフトマックスを示す。 次に、テストプロセスの推論にDB-OTを適用します。 バニラ型Softmax訓練機能を用いても,本手法は試験段階において改良された推論方式により良好な結果が得られることを示す。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Estimating Barycenters of Distributions with Neural Optimal Transport [93.28746685008093]
  本稿では,Wasserstein Barycenter問題を解くための新しいスケーラブルなアプローチを提案する。 我々の手法は最近のNeural OTソルバをベースとしている。 また,提案手法の理論的誤差境界も確立する。
  論文  参考訳（メタデータ） (2024-02-06T09:17:07Z)
• A Class-aware Optimal Transport Approach with Higher-Order Moment Matching for Unsupervised Domain Adaptation [33.712557972990034]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 本稿では,クラス対応最適輸送(OT)と呼ばれる新しい手法を導入し,ソースのクラス条件分布上の分布間のOT距離を計測する。
  論文  参考訳（メタデータ） (2024-01-29T08:27:31Z)
• Analyzing and Improving Optimal-Transport-based Adversarial Networks [9.980822222343921]
  最適輸送(OT)問題は、与えられたコスト関数を最小化しつつ、2つの分布をブリッジする輸送計画を見つけることを目的としている。 OT理論は生成モデリングに広く利用されている。 提案手法はCIFAR-10では2.51点,CelebA-HQ-256では5.99点のFIDスコアを得た。
  論文  参考訳（メタデータ） (2023-10-04T06:52:03Z)
• Building the Bridge of Schr\"odinger: A Continuous Entropic Optimal Transport Benchmark [96.06787302688595]
  提案手法は, 基本真理 OT 解が構成によって知られている確率分布のペアを作成する方法である。 これらのベンチマークペアを使用して、既存のニューラルネットワーク EOT/SB ソルバが実際に EOT ソリューションをどれだけよく計算しているかをテストする。
  論文  参考訳（メタデータ） (2023-06-16T20:03:36Z)
• Generative Modeling through the Semi-dual Formulation of Unbalanced Optimal Transport [9.980822222343921]
  非平衡最適輸送(UOT)の半二重定式化に基づく新しい生成モデルを提案する。 OTとは異なり、UOTは分散マッチングの厳しい制約を緩和する。このアプローチは、外れ値に対する堅牢性、トレーニング中の安定性、より高速な収束を提供する。 CIFAR-10ではFIDスコアが2.97、CelebA-HQ-256では6.36である。
  論文  参考訳（メタデータ） (2023-05-24T06:31:05Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation [120.69747175899421]
  ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-12T17:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。