論文の概要: Displacement-Sparse Neural Optimal Transport

• arxiv url: http://arxiv.org/abs/2502.01889v2
• Date: Sat, 17 May 2025 03:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.420382
• Title: Displacement-Sparse Neural Optimal Transport
• Title（参考訳）: 変位スパースニューラル最適輸送
• Authors: Peter Chen, Yue Xie, Qingpeng Zhang,
• Abstract要約: 最適輸送(OT)は、コスト関数を最小化しながら、ある確率測度から別の確率測度へ質量を輸送するマップ$T$を見つけることを目的としている。 ニューラルOTソルバは、薬物摂動などの高次元生物学的応用で人気を博している。 直感的で理論的に基礎を成す手法として,ニューラルOTソルバ内におけるエンファスメント・スパースマップの学習手法を提案する。
• 参考スコア（独自算出の注目度）: 6.968698312185846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimal transport (OT) aims to find a map $T$ that transports mass from one probability measure to another while minimizing a cost function. Recently, neural OT solvers have gained popularity in high dimensional biological applications such as drug perturbation, due to their superior computational and memory efficiency compared to traditional exact Sinkhorn solvers. However, the overly complex high dimensional maps learned by neural OT solvers often suffer from poor interpretability. Prior work addressed this issue in the context of exact OT solvers by introducing \emph{displacement-sparse maps} via designed elastic cost, but such method failed to be applied to neural OT settings. In this work, we propose an intuitive and theoretically grounded approach to learning \emph{displacement-sparse maps} within neural OT solvers. Building on our new formulation, we introduce a novel smoothed $\ell_0$ regularizer that outperforms the $\ell_1$ based alternative from prior work. Leveraging Input Convex Neural Network's flexibility, we further develop a heuristic framework for adaptively controlling sparsity intensity, an approach uniquely enabled by the neural OT paradigm. We demonstrate the necessity of this adaptive framework in large-scale, high-dimensional training, showing not only improved accuracy but also practical ease of use for downstream applications.
• Abstract（参考訳）: 最適輸送(OT)は、コスト関数を最小化しながら、ある確率測度から別の確率測度へ質量を輸送するマップ$T$を見つけることを目的としている。 近年、ニューラルOTソルバは、従来のシンクホーンソルバに比べて計算効率とメモリ効率が優れているため、薬物摂動などの高次元生物学的応用で人気を博している。 しかし、神経OTソルバによって学習された超複雑な高次元写像は、しばしば解釈可能性の低下に悩まされる。 以前の研究では、設計された柔軟なコストで \emph{displacement-sparse map} を導入することで、正確なOTソルバの文脈でこの問題に対処していたが、神経OT設定には適用されなかった。 本研究では,ニューラルOTソルバ内でのemph{displacement-sparse map}を学習するための直観的,理論的に基礎的なアプローチを提案する。 新しい定式化に基づいて、よりスムーズな$\ell_0$正規化子を導入します。 入力凸ニューラルネットワークの柔軟性を活用することで、我々はさらに、ニューラルOTパラダイムによって一意に実現されたアプローチである、空間強度を適応的に制御するためのヒューリスティックなフレームワークを開発する。 大規模かつ高次元のトレーニングにおいて,この適応フレームワークの必要性を実証し,精度の向上だけでなく,下流アプリケーションへの実用的な使い勝手も示す。

関連論文リスト

• Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization [77.3396841985172]
  我々は、構造化された非極小最適化問題の解法として、2時間勾配上昇(TTGDA)を統一的に解析する。 我々の貢献はTTGDAアルゴリズムを設計することであり、設定を超えて効果的です。
  論文  参考訳（メタデータ） (2024-08-21T20:14:54Z)
• Progressive Entropic Optimal Transport Solvers [33.821924561619895]
  本稿では,計画図と輸送地図の両方を推定できる新しいEOT解法(ProgOT)を提案する。 我々は,ProgOTが標準解法よりも高速で堅牢な代替手段であることを示す実験的な証拠を提供する。 また、最適な輸送地図を推定するためのアプローチの統計的整合性も証明する。
  論文  参考訳（メタデータ） (2024-06-07T16:33:08Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• The Monge Gap: A Regularizer to Learn All Transport Maps [34.81915836064636]
  ブレニエの定理は、地価が二乗ユークリッド距離であるとき、$mathcalP(Rd)$で連続測度を変形させるベストの写像は凸函数の勾配でなければならないというものである。 数学的優雅さにもかかわらず、ICNNにOTマップを組み込むことは多くの課題を提起する。 我々は、OTマップを推定するアプローチを根本的に異なるアプローチで提案する。
  論文  参考訳（メタデータ） (2023-02-09T21:56:11Z)
• Monge, Bregman and Occam: Interpretable Optimal Transport in High-Dimensions with Feature-Sparse Maps [37.45959537338404]
  我々は、$tau$ のスパース性誘導ノルムを選択すると、Occam のカミソリを輸送に応用する写像が得られることを示した。 本稿では,高次元単細胞転写データに対して有意なマップを推定する手法について紹介する。
  論文  参考訳（メタデータ） (2023-02-08T14:02:34Z)
• Universal Neural Optimal Transport [0.0]
  UNOT(Universal Neural Optimal Transport、Universal Neural Optimal Transport)は、OT距離を正確に予測できる新しいフレームワークである。 我々のネットワークはSinkhornアルゴリズムの最先端の初期化として使用でき、最大7.4times$の高速化が可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T21:56:09Z)
• Neural Optimal Transport with General Cost Functionals [66.41953045707172]
  一般費用関数の最適輸送計画を計算するニューラルネットワークに基づく新しいアルゴリズムを提案する。 アプリケーションとして,クラス単位の構造を保ちながら,データ分布をマップするコスト関数を構築した。
  論文  参考訳（メタデータ） (2022-05-30T20:00:19Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Minimax Optimal Regression over Sobolev Spaces via Laplacian Regularization on Neighborhood Graphs [25.597646488273558]
  非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。 ラプラシアン滑らか化が多様体適応であることを証明する。
  論文  参考訳（メタデータ） (2021-06-03T01:20:41Z)
• An efficient projection neural network for $\ell_1$-regularized logistic regression [10.517079029721257]
  本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。 提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。 また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
  論文  参考訳（メタデータ） (2021-05-12T06:13:44Z)
• Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
  本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。 解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。 我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
  論文  参考訳（メタデータ） (2020-08-17T22:11:26Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Regularized Optimal Transport is Ground Cost Adversarial [34.81915836064636]
  最適輸送問題の正則化は, 地価逆数と解釈できることを示す。 これにより、地上空間上のロバストな異性度測度にアクセスでき、他のアプリケーションで使用することができる。
  論文  参考訳（メタデータ） (2020-02-10T17:28:35Z)
• Naive Exploration is Optimal for Online LQR [49.681825576239355]
  最適後悔尺度は$widetildeTheta(sqrtd_mathbfu2 d_mathbfx T)$で、$T$は時間ステップの数、$d_mathbfu$は入力空間の次元、$d_mathbfx$はシステム状態の次元である。 我々の下界は、かつての$mathrmpoly(logT)$-regretアルゴリズムの可能性を排除する。
  論文  参考訳（メタデータ） (2020-01-27T03:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。