論文の概要: Universal Neural Optimal Transport

• arxiv url: http://arxiv.org/abs/2212.00133v5
• Date: Mon, 10 Feb 2025 23:08:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 18:22:47.462318
• Title: Universal Neural Optimal Transport
• Title（参考訳）: ユニバーサル・ニューラル・オプティカル・トランスポート
• Authors: Jonathan Geuter, Gregor Kornhardt, Ingimar Tomasson, Vaios Laschos,
• Abstract要約: UNOT(Universal Neural Optimal Transport)は、OT距離と計画を正確に予測できる新しいフレームワークである。 我々のネットワークは、幅広いデータセットにわたる最適な輸送距離と計画を正確に予測するだけでなく、ワッサーシュタイン空間の幾何学を正確に捉えることも示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal Transport (OT) problems are a cornerstone of many applications, but solving them is computationally expensive. To address this problem, we propose UNOT (Universal Neural Optimal Transport), a novel framework capable of accurately predicting (entropic) OT distances and plans between discrete measures of variable resolution for a given cost function. UNOT builds on Fourier Neural Operators, a universal class of neural networks that map between function spaces and that are discretization-invariant, which enables our network to process measures of varying sizes. The network is trained adversarially using a second, generating network and a self-supervised bootstrapping loss. We theoretically justify the use of FNOs, prove that our generator is universal, and that minimizing the bootstrapping loss provably minimizes the ground truth loss. Through extensive experiments, we show that our network not only accurately predicts optimal transport distances and plans across a wide range of datasets, but also captures the geometry of the Wasserstein space correctly. Furthermore, we show that our network can be used as a state-of-the-art initialization for the Sinkhorn algorithm, significantly outperforming existing approaches.
• Abstract（参考訳）: 最適輸送(OT)問題は多くのアプリケーションの基礎であるが、その解決には計算コストがかかる。 この問題に対処するために,UNOT(Universal Neural Optimal Transport)を提案する。これは,OT距離の(エントロピー的な)予測と,所定のコスト関数に対する可変分解能の離散測度間の計画を行うことのできる,新しいフレームワークである。 UNOTはFourier Neural Operators(フーリエニューラル・オペレータ)という,関数空間と離散化不変(disretization-invariant)の間をマッピングする,ニューラルネットワークの汎用クラス上に構築されている。 ネットワークは、第2の、生成するネットワークと自己教師型ブートストラップ損失を用いて、敵に訓練される。 理論的には、FNOの使用を正当化し、ジェネレータが普遍的であることを証明し、ブートストラップ損失を最小化することで、真理損失を確実に最小化する。 広範な実験を通して、我々のネットワークは最適な輸送距離を正確に予測し、幅広いデータセットにわたって計画を立てるだけでなく、ワッサーシュタイン空間の幾何学を正確に捉えることも示している。 さらに,我々のネットワークはシンクホーンアルゴリズムの最先端初期化として利用でき,既存の手法よりも優れていることを示す。

関連論文リスト

• GradINN: Gradient Informed Neural Network [2.287415292857564]
  物理情報ニューラルネットワーク(PINN)にヒントを得た手法を提案する。 GradINNは、システムの勾配に関する事前の信念を利用して、予測関数の勾配を全ての入力次元にわたって制限する。 非時間依存システムにまたがる多様な問題に対するGradINNの利点を実証する。
  論文  参考訳（メタデータ） (2024-09-03T14:03:29Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• LaCoOT: Layer Collapse through Optimal Transport [5.869633234882029]
  本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するための最適輸送手法を提案する。 この距離を最小化することで、ネットワーク内の中間層を完全に取り除くことができ、性能損失はほとんどなく、微調整も不要であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:03:53Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Probabilistic Verification of ReLU Neural Networks via Characteristic Functions [11.489187712465325]
  我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。 我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。 出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
  論文  参考訳（メタデータ） (2022-12-03T05:53:57Z)
• Unsupervised Optimal Power Flow Using Graph Neural Networks [172.33624307594158]
  グラフニューラルネットワークを用いて、要求された電力と対応するアロケーションとの間の非線形パラメトリゼーションを学習する。 シミュレーションを通して、この教師なし学習コンテキストにおけるGNNの使用は、標準解法に匹敵するソリューションにつながることを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:30:09Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable [1.2277343096128712]
  十分な幅が与えられると、ランダムに1層ニューラルネットワークは2つの集合を2つの線形分離可能な集合に変換することができる。 本論文は, 十分な幅が与えられると, ランダムに一層ニューラルネットワークが2つの集合を2つの線形分離可能な集合に変換できることを示す。
  論文  参考訳（メタデータ） (2022-05-24T01:38:43Z)
• PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
  本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T14:11:07Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Training Generative Adversarial Networks via stochastic Nash games [2.995087247817663]
  GAN(Generative Adversarial Network)は、ジェネレータと識別器という2つの対角ニューラルネットワークを持つ生成モデルのクラスである。 データの数が増加すると、正確な解に収束することを示す。 また, サンプル数が少ない場合, SRFBアルゴリズムの平均変種を解の近傍に収束させることも示した。
  論文  参考訳（メタデータ） (2020-10-17T09:07:40Z)
• Graph Neural Networks for Scalable Radio Resource Management: Architecture Design and Theoretical Analysis [31.372548374969387]
  本稿では,大規模無線資源管理問題にグラフニューラルネットワーク(GNN)を適用することを提案する。 提案手法はスケーラビリティが高く,1つのGPU上で1,000ドルのトランシーバペアを6ミリ秒以内で行う干渉チャネルにおけるビームフォーミング問題を解くことができる。
  論文  参考訳（メタデータ） (2020-07-15T11:43:32Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。