Fugu-MT 論文翻訳(概要): Fast Log-Domain Sinkhorn Optimal Transport with Warp-Level GPU Reductions

論文の概要: Fast Log-Domain Sinkhorn Optimal Transport with Warp-Level GPU Reductions

arxiv url: http://arxiv.org/abs/2605.00837v1
Date: Sat, 04 Apr 2026 16:06:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-11 06:56:26.441692
Title: Fast Log-Domain Sinkhorn Optimal Transport with Warp-Level GPU Reductions
Title（参考訳）: ワープレベルGPUによる高速対数領域シンクホーン輸送
Authors: Hao Xiao,
Abstract要約: 我々は、log-domain Sinkhornアルゴリズムの軽量でネイティブな実装であるFastSinkhornを提案する。我々の解法はログドメインで完全に動作し、標準ドメインメソッドが失敗するepsilon = 10-4のように、正規化パラメータの計算を可能にする。画像色変換, 3次元点雲マッチング, 収束解析について検証し, 注意深い数値処理を施したネイティブカーネルが, 大規模最適輸送のための実用的で効率的な基盤となることを示した。
参考スコア（独自算出の注目度）: 1.6679662639178268
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Entropic regularized optimal transport (OT) via the Sinkhorn algorithm has become a fundamental tool in machine learning, yet existing implementations either suffer from numerical instability for small regularization parameters or incur significant overhead from deep learning frameworks. We present FastSinkhorn, a lightweight, native CUDA implementation of the log-domain Sinkhorn algorithm that combines warp-level shuffle reductions with shared-memory tiling to achieve high GPU utilization without sacrificing numerical stability. Our solver operates entirely in the log-domain, enabling robust computation for regularization parameters as small as epsilon = 10^{-4} where standard-domain methods fail. On dense OT problems with n = m = 8192, our implementation achieves 12x speedup over the widely-used POT library and 5.9x speedup over GPU-accelerated PyTorch baselines, while consuming only 256 MB of GPU memory. We validate our solver on image color transfer, 3D point cloud matching, and convergence analysis, demonstrating that native CUDA kernels with careful numerical treatment provide a practical and efficient foundation for large-scale optimal transport computation.
Abstract（参考訳）: Sinkhornアルゴリズムによるエントロピック正規化最適輸送(OT)は、機械学習の基本的なツールとなっているが、既存の実装では、小さな正規化パラメータの数値的不安定さに悩まされるか、ディープラーニングフレームワークからかなりのオーバーヘッドが生じる。我々は、ワープレベルのシャッフル削減と共有メモリタイリングを組み合わせ、数値安定性を犠牲にすることなく高いGPU利用を実現する、ログドメインシンクホーンアルゴリズムの軽量でネイティブなCUDA実装であるFastSinkhornを提案する。我々の解法は完全にログドメインで動作し、標準ドメインメソッドがフェールした場合のepsilon = 10^{-4}のように、正規化パラメータのロバストな計算を可能にする。 n = m = 8192 の高密度 OT 問題では、広く使われている POT ライブラリの 12 倍の高速化、GPU アクセラレーションされた PyTorch ベースラインの 5.9 倍の高速化を実現し、GPU メモリ 256 MB しか消費しない。画像色変換, 3次元点雲マッチング, 収束解析の解法を検証し, 注意深い数値処理を施したネイティブCUDAカーネルが, 大規模最適輸送計算の実用的かつ効率的な基礎となることを実証した。

関連論文リスト

Libra: Synergizing CUDA and Tensor Cores for High-Performance Sparse Matrix Multiplication [6.557224606759151]
現代の加速器は一般にスパース演算子を加速するコアとコアを備えている。資源を1つだけ利用すれば,それぞれの制限のため,スパース行列乗算の性能が劣ることを示す。本稿では,2.9コアの高性能とコアの低冗長性を両立させて,タスクマッピング演算子のスイートポイントを求める2D対応のワークロード計算戦略を提案する。
論文参考訳（メタデータ） (2025-06-28T01:50:13Z)
INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文参考訳（メタデータ） (2023-08-11T04:24:39Z)
Efficient and Accurate Optimal Transport with Mirror Descent and Conjugate Gradients [13.848861021326755]
離散最適輸送(OT)問題を高精度に解くための新しい手法として,ミラーDescent Optimal Transport (MDOT)を提案する。我々は,GPU並列非線形共役アルゴリズム(PNCG)を用いて,従来のシンクホーンの繰り返しを弱い正規化の下で効率よく解く。
論文参考訳（メタデータ） (2023-07-17T14:09:43Z)
Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文参考訳（メタデータ） (2022-10-21T15:56:13Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
Distributed Out-of-Memory NMF on CPU/GPU Architectures [1.0051474951635875]
本稿では,HPCシステムに対する非負行列分解(NMF)アルゴリズムのメモリ外実装を提案する。ベンチマークの結果、CPUベースのNMFkよりもGPUを使用した新しい実装により、32Xから76倍のスピードアップが大幅に改善された。
論文参考訳（メタデータ） (2022-02-19T03:49:21Z)
Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文参考訳（メタデータ） (2022-01-16T07:22:47Z)
Scalable Optimal Transport in High Dimensions for Graph Distances, Embedding Alignment, and More [7.484063729015126]
最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
論文参考訳（メタデータ） (2021-07-14T17:40:08Z)
Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文参考訳（メタデータ） (2021-04-16T09:54:30Z)
GPU-Accelerated Primal Learning for Extremely Fast Large-Scale Classification [10.66048003460524]
ロジスティック回帰や線形サポートベクターマシン(SVM)分類などのL2正規化原始問題を解く最も効率的な方法の1つは、広く使われている信頼領域ニュートンアルゴリズムであるTRONである。我々は、GPU最適化の法則を用いて、異なる損失と特徴表現に対するTRONトレーニング時間を劇的に短縮できることを示した。
論文参考訳（メタデータ） (2020-08-08T03:40:27Z)
Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。