論文の概要: Understanding Learning with Sliced-Wasserstein Requires Rethinking Informative Slices

• arxiv url: http://arxiv.org/abs/2411.10651v1
• Date: Sat, 16 Nov 2024 01:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:27.697920
• Title: Understanding Learning with Sliced-Wasserstein Requires Rethinking Informative Slices
• Title（参考訳）: Sliced-Wassersteinによる学習の理解はインフォーマティブスライスを再考する必要がある
• Authors: Huy Tran, Yikun Bai, Ashkan Shahbazi, John R. Hershey, Soheil Kolouri,
• Abstract要約: Sliced-Wasserstein distances (SWDs) は、分布を1次元の部分空間に射影することで回避策を提供する。 高次元では、ほとんどのランダム射影は測度現象の集中によって非形式的になる。 私たちは1D Wassersteinを再スケールして、すべてのスライスを均等に情報化します。
• 参考スコア（独自算出の注目度）: 17.988939598633323
• License:
• Abstract: The practical applications of Wasserstein distances (WDs) are constrained by their sample and computational complexities. Sliced-Wasserstein distances (SWDs) provide a workaround by projecting distributions onto one-dimensional subspaces, leveraging the more efficient, closed-form WDs for one-dimensional distributions. However, in high dimensions, most random projections become uninformative due to the concentration of measure phenomenon. Although several SWD variants have been proposed to focus on \textit{informative} slices, they often introduce additional complexity, numerical instability, and compromise desirable theoretical (metric) properties of SWD. Amidst the growing literature that focuses on directly modifying the slicing distribution, which often face challenges, we revisit the classical Sliced-Wasserstein and propose instead to rescale the 1D Wasserstein to make all slices equally informative. Importantly, we show that with an appropriate data assumption and notion of \textit{slice informativeness}, rescaling for all individual slices simplifies to \textbf{a single global scaling factor} on the SWD. This, in turn, translates to the standard learning rate search for gradient-based learning in common machine learning workflows. We perform extensive experiments across various machine learning tasks showing that the classical SWD, when properly configured, can often match or surpass the performance of more complex variants. We then answer the following question: "Is Sliced-Wasserstein all you need for common learning tasks?"
• Abstract（参考訳）: ワッサーシュタイン距離(WD)の実用的応用は、そのサンプルと計算複雑性によって制約される。 Sliced-Wasserstein distances (SWDs) は、一次元の部分空間に分布を投影し、より効率的で閉形式のWDを1次元分布に活用することで回避策を提供する。 しかし、高次元では、ほとんどのランダム射影は測度現象の集中によって非形式的になる。 いくつかのSWD変種は \textit{informative} スライスに焦点を合わせるために提案されているが、それらはしばしば追加の複雑さ、数値不安定性、SWDの望ましい理論的(測定値)特性を導入する。 しばしば課題に直面しているスライス分布を直接修正することに焦点を当てた文献が増えている中で、我々は古典的なスライス・ワッサーシュタインを再検討し、1Dワッサースタインを再スケールして全てのスライスを等しく情報化することを提案する。 重要なことは、適切なデータ仮定と「textit{slice informativeness}」の概念により、各スライスに対する再スケーリングはSWD上の「textbf{a single global scaling factor}」に単純化されることである。 これは、一般的な機械学習ワークフローにおける勾配に基づく学習の標準的な学習率検索に変換される。 我々は、古典的なSWDが適切に設定された場合、より複雑な変種の性能にマッチしたり、超えたりできることを示す様々な機械学習タスクにまたがって広範な実験を行う。 Sliced-Wassersteinは、一般的な学習タスクに必要なものなのだろうか?

関連論文リスト

• A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data [38.964624328622]
  We show that Wasserstein Autoencoders (WAE) can learn the data distributions when the network architectures。 その結果,WAEの試料数における余剰リスクの収束率は,高い特徴次元に依存しないことが示唆された。
  論文  参考訳（メタデータ） (2024-02-24T04:13:40Z)
• Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning [1.024113475677323]
  本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。 すべてのサンプル座標を葉変数とする代わりに、ZCSは空間的あるいは時間的次元ごとに1つのスカラー値の葉変数を導入する。 これは、関数の次元に沿った計算グラフの重複を避けることで、卓越した性能向上につながった。
  論文  参考訳（メタデータ） (2023-11-01T21:28:24Z)
• STEERER: Resolving Scale Variations for Counting and Localization via Selective Inheritance Learning [74.2343877907438]
  スケールの変動はオブジェクトカウントにおける根深い問題であり、既存のスケールアウェアアルゴリズムでは効果的に対処されていない。 本稿では,オブジェクトカウントにおけるスケール変動の問題に対処する,STEERERと呼ばれる新しい手法を提案する。 STEERERは、特徴抽出を促進するために、パッチオブジェクトに最も適したスケールを選択し、下位から上位までの識別的特徴のみを徐々に継承する。
  論文  参考訳（メタデータ） (2023-08-21T05:09:07Z)
• Revisiting invariances and introducing priors in Gromov-Wasserstein distances [8.724900618917095]
  我々は、Augmented Gromov-Wassersteinと呼ばれる、新しい最適輸送ベース距離を提案する。 変換に対する剛性のレベルをある程度制御することができる。 また、機能アライメントも組み込まれており、インプットデータに対する事前の知識をより活用して、パフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2023-07-19T16:00:29Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Projection Robust Wasserstein Barycenter [36.97843660480747]
  ワッサースタイン・バリセンターの 近似は 次元の呪いのため 数値的に困難です 本稿では,次元の呪いを緩和するプロジェクションロバストなワッサーシュタインバリセンタ(PRWB)を提案する。
  論文  参考訳（メタデータ） (2021-02-05T19:23:35Z)
• Augmented Sliced Wasserstein Distances [55.028065567756066]
  拡張スライスされたワッサーシュタイン距離(ASWD)と呼ばれる新しい距離測定法を提案する。 ASWDは、ニューラルネットワークによってパラメータ化された高次元超曲面への最初のマッピングサンプルによって構成される。 数値的な結果から、ASWDは、合成問題と実世界の問題の両方において、他のワッサーシュタイン変種を著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2020-06-15T23:00:08Z)
• Partial Optimal Transport with Applications on Positive-Unlabeled Learning [12.504473943407092]
  We propose exactly algorithm to solve Wasserstein and Gromov-Wasserstein problem。 これは、この文脈における最適輸送の最初の応用である。
  論文  参考訳（メタデータ） (2020-02-19T16:36:35Z)
• Fast and Robust Comparison of Probability Measures in Heterogeneous Spaces [62.35667646858558]
  本稿では, アンカー・エナジー (AE) とアンカー・ワッサースタイン (AW) 距離を紹介する。 我々の主な貢献は、素案実装が立方体となる対数四重項時間でAEを正確に計算するスイープラインアルゴリズムを提案することである。 AE と AW は,一般的な GW 近似の計算コストのごく一部において,様々な実験環境において良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-02-05T03:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。