論文の概要: Generative Entropic Neural Optimal Transport To Map Within and Across
Spaces
- arxiv url: http://arxiv.org/abs/2310.09254v1
- Date: Fri, 13 Oct 2023 17:12:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 11:49:53.500871
- Title: Generative Entropic Neural Optimal Transport To Map Within and Across
Spaces
- Title(参考訳): 空間内および空間横断マップへの生成的エントロピーニューラル最適輸送
- Authors: Dominik Klein, Th\'eo Uscidda, Fabian Theis, Marco Cuturi
- Abstract要約: 学習測度マッピングは機械学習において重要な課題であり、生成モデリングにおいて顕著に特徴付けられる。
近年、最適な輸送(OT)理論からインスピレーションを得る技術が急増している。
本稿では,テキスト生成型エントロピック・ニューラル・トランスポート(GENOT)と呼ばれる,それらを統一するためのエレガントなフレームワークを提案する。
GENOTは任意のコスト関数に対応でき、条件付き生成モデルを使って処理できる。
- 参考スコア(独自算出の注目度): 21.868602766832453
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Learning measure-to-measure mappings is a crucial task in machine learning,
featured prominently in generative modeling. Recent years have witnessed a
surge of techniques that draw inspiration from optimal transport (OT) theory.
Combined with neural network models, these methods collectively known as
\textit{Neural OT} use optimal transport as an inductive bias: such mappings
should be optimal w.r.t. a given cost function, in the sense that they are able
to move points in a thrifty way, within (by minimizing displacements) or across
spaces (by being isometric). This principle, while intuitive, is often
confronted with several practical challenges that require adapting the OT
toolbox: cost functions other than the squared-Euclidean cost can be
challenging to handle, the deterministic formulation of Monge maps leaves
little flexibility, mapping across incomparable spaces raises multiple
challenges, while the mass conservation constraint inherent to OT can provide
too much credit to outliers. While each of these mismatches between practice
and theory has been addressed independently in various works, we propose in
this work an elegant framework to unify them, called \textit{generative
entropic neural optimal transport} (GENOT). GENOT can accommodate any cost
function; handles randomness using conditional generative models; can map
points across incomparable spaces, and can be used as an \textit{unbalanced}
solver. We evaluate our approach through experiments conducted on various
synthetic datasets and demonstrate its practicality in single-cell biology. In
this domain, GENOT proves to be valuable for tasks such as modeling cell
development, predicting cellular responses to drugs, and translating between
different data modalities of cells.
- Abstract(参考訳): 学習測度マッピングは機械学習において重要な課題であり、生成モデリングにおいて顕著である。
近年、最適輸送(ot)理論から着想を得た技術が急増している。
ニューラルネットワークモデルと組み合わせて、これらの手法を総称して「textit{Neural OT}」は帰納的バイアスとして最適輸送を用いる:そのようなマッピングは、(変位を最小限にすることで)遠方へ(等尺的に)、あるいは空間をまたいで(等尺的に)移動できるという意味で、与えられたコスト関数として最適であるべきである。
正方形のユークリッドコスト以外のコスト関数は扱いづらいが、モンジュマップの決定論的定式化は柔軟性をほとんど残さず、非可換空間を横断するマッピングは複数の課題を提起する一方、OT固有の大量保存制約はオフレーヤに過剰な信用を与える。
これらの実践と理論のミスマッチは、それぞれ独立して様々な研究で取り組まれてきたが、本研究では、それらを統一するためのエレガントな枠組みである \textit{generative entropic neural optimal transport} (genot) を提案する。
GENOTは任意のコスト関数に対応でき、条件付き生成モデルを使ってランダム性を扱う。
本手法は,様々な合成データセットを用いた実験を通して評価し,単細胞生物学における実用性を示す。
この領域では、ジェノットは細胞発達のモデル化、薬物に対する細胞応答の予測、細胞の異なるデータモダリティ間の翻訳といったタスクに有用であることが証明されている。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネル空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
我々は、$epsilon$-covering up $mathcalO(epsilon-frac2dd+2)$に対する計量エントロピーの改善結果を得る。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳(メタデータ) (2023-12-06T20:58:07Z) - Network Topology Inference with Sparsity and Laplacian Constraints [18.447094648361453]
我々はラプラシアの制約付きガウス図形モデルを用いてネットワークトポロジに取り組む。
この問題を解決するために,効率的なプロジェクションアルゴリズムが開発された。
論文 参考訳(メタデータ) (2023-09-02T15:06:30Z) - Neural Gromov-Wasserstein Optimal Transport [82.05269165407427]
本稿では,Gromov-Wasserstein (GW) Optimal Transport (OT) 問題を内部積コストで解くためのスケーラブルなニューラルネットワーク手法を提案する。
提案手法では,ニューラルネットワークとミニバッチ最適化を用いて,既存の手法の限界を克服する。
論文 参考訳(メタデータ) (2023-03-10T15:21:12Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳(メタデータ) (2022-11-16T18:59:54Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Orthogonal Gromov-Wasserstein Discrepancy with Efficient Lower Bound [11.086440815804226]
Gromov-Wasserstein (GW) は、最適な輸送データセットに基づいて、構造化されたデータ間のノードグラフを定式化する。
本稿では,代入問題との関係から着想を得て,GWの代理としてGromov-Wasserstein離散性を提案する。
論文 参考訳(メタデータ) (2022-05-12T02:10:56Z) - Generative Adversarial Method Based on Neural Tangent Kernels [13.664682865991255]
GA-NTK(Generative Adversarial NTK)と呼ばれる新しい生成アルゴリズムを提案する。
GA-NTK は GAN に匹敵する画像を生成することができるが、様々な条件下での訓練がずっと容易である。
その結果,GA-NTK は GAN に匹敵する画像を生成することができるが,様々な条件下での訓練がより容易であることがわかった。
論文 参考訳(メタデータ) (2022-04-08T14:17:46Z) - Nearly Dimension-Independent Sparse Linear Bandit over Small Action
Spaces via Best Subset Selection [71.9765117768556]
本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。
この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。
本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
論文 参考訳(メタデータ) (2020-09-04T04:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。