論文の概要: A Wasserstein Minimum Velocity Approach to Learning Unnormalized Models
- arxiv url: http://arxiv.org/abs/2002.07501v1
- Date: Tue, 18 Feb 2020 11:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:24:57.939988
- Title: A Wasserstein Minimum Velocity Approach to Learning Unnormalized Models
- Title(参考訳): ワッサースタイン最小速度法による非正規化モデル学習
- Authors: Ziyu Wang, Shuyu Cheng, Yueru Li, Jun Zhu, Bo Zhang
- Abstract要約: 本稿では、これらの目的とワッサーシュタイン勾配流との新たな関係を観測することにより、スコアマッチングを含む学習目的の一般ファミリーにスケーラブルな近似を提示する。
- 参考スコア(独自算出の注目度): 28.212776383499868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score matching provides an effective approach to learning flexible
unnormalized models, but its scalability is limited by the need to evaluate a
second-order derivative. In this paper, we present a scalable approximation to
a general family of learning objectives including score matching, by observing
a new connection between these objectives and Wasserstein gradient flows. We
present applications with promise in learning neural density estimators on
manifolds, and training implicit variational and Wasserstein auto-encoders with
a manifold-valued prior.
- Abstract(参考訳): スコアマッチングは柔軟な非正規化モデルの学習に効果的なアプローチを提供するが、その拡張性は二階微分の評価の必要性によって制限される。
本稿では,これらの目的とワッサーシュタイン勾配流との新たな関係を観測することにより,スコアマッチングを含む学習目的の一般ファミリーにスケーラブルな近似を提案する。
我々は、多様体上のニューラル密度推定器を学習し、暗黙の変分とワッサーシュタイン自動エンコーダを、多様体値の先行で訓練する。
関連論文リスト
- MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
モデルマージは、同じトレーニング済みモデルから細調整された複数のシングルタスクモデルをマルチタスクモデルに結合する効果的なアプローチである。
既存のモデルマージ手法は、平均的なタスク精度の向上に重点を置いている。
Amortized Pareto Front (MAP) を用いた新しい低計算アルゴリズム Model Merging を導入する。
論文 参考訳(メタデータ) (2024-06-11T17:55:25Z) - A DeepONet multi-fidelity approach for residual learning in reduced
order modeling [0.0]
本稿では,多面的視点とDeepONetsを利用して,縮小順序モデルの精度を高める新しい手法を提案する。
モデル削減を機械学習残差学習と組み合わせて、上記の誤りをニューラルネットワークで学習し、新しい予測のために推論することを提案する。
論文 参考訳(メタデータ) (2023-02-24T15:15:07Z) - A few-shot learning approach with domain adaptation for personalized
real-life stress detection in close relationships [6.85888464902041]
実生活データから人間の成果をモデル化することで得られる計算課題に対処することを目的としたメトリクス学習アプローチを設計する。
提案したメトリック学習は、ターゲットユーザと非ターゲットユーザとの相対的な差を学習する、SNN(Siamese Neural Network)に基づいている。
論文 参考訳(メタデータ) (2022-10-27T08:08:26Z) - Making Look-Ahead Active Learning Strategies Feasible with Neural
Tangent Kernels [6.372625755672473]
本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。
通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
論文 参考訳(メタデータ) (2022-06-25T06:13:27Z) - Distributional Gradient Matching for Learning Uncertain Neural Dynamics
Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。
我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。
数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文 参考訳(メタデータ) (2021-06-22T08:40:51Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳(メタデータ) (2020-08-19T19:11:25Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳(メタデータ) (2020-05-16T19:18:10Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。