論文の概要: Learning Probabilistic Sentence Representations from Paraphrases
- arxiv url: http://arxiv.org/abs/2005.08105v1
- Date: Sat, 16 May 2020 21:10:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 13:24:36.285645
- Title: Learning Probabilistic Sentence Representations from Paraphrases
- Title（参考訳）: パラフレーズからの確率的文表現の学習
- Authors: Mingda Chen, Kevin Gimpel
- Abstract要約: 文の分布を生成する確率モデルを定義する。
パラフレーズでモデルをトレーニングし、それらが自然に文の特異性を捉えていることを示す。
本モデルでは,各単語の明瞭度と正確度を抽出する手法を提案する。
- 参考スコア（独自算出の注目度）: 47.528336088976744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probabilistic word embeddings have shown effectiveness in capturing notions
of generality and entailment, but there is very little work on doing the
analogous type of investigation for sentences. In this paper we define
probabilistic models that produce distributions for sentences. Our
best-performing model treats each word as a linear transformation operator
applied to a multivariate Gaussian distribution. We train our models on
paraphrases and demonstrate that they naturally capture sentence specificity.
While our proposed model achieves the best performance overall, we also show
that specificity is represented by simpler architectures via the norm of the
sentence vectors. Qualitative analysis shows that our probabilistic model
captures sentential entailment and provides ways to analyze the specificity and
preciseness of individual words.
- Abstract（参考訳）: 確率的単語埋め込みは、一般化と帰属の概念を捉えるのに有効であるが、文に対する類似のタイプの調査を行う作業はほとんどない。
本稿では,文の分布を生成する確率モデルを定義する。
本モデルでは,各単語を多変量ガウス分布に適用した線形変換演算子として扱う。
パラフレーズでモデルをトレーニングし、それらが自然に文の特異性を捉えることを示す。
提案モデルは全体として最高の性能を実現するが,文ベクトルのノルムを通じて,より単純なアーキテクチャによって特異性が表現されることを示した。
質的分析により,確率モデルが知覚的包含を捉え,個々の単語の特異性と正確性を分析する方法を示す。
関連論文リスト
- The Distributional Hypothesis Does Not Fully Explain the Benefits of
Masked Language Model Pretraining [27.144616560712493]
マスク付き言語モデルを用いて事前学習したモデルのより優れたサンプル効率とより優れた一般化能力は、事前学習したデータの分布特性に符号化された意味的類似性に起因するかを検討する。
本研究は,モデル事前学習の限定的な理解と今後の研究方向性を示すものである。
論文 参考訳（メタデータ） (2023-10-25T00:31:29Z) - A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
本稿では,確率変数の尾を解析するための体系的アプローチを提案する。
本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
論文 参考訳（メタデータ） (2023-06-15T16:37:36Z) - Learning and Predicting Multimodal Vehicle Action Distributions in a
Unified Probabilistic Model Without Labels [26.303522885475406]
本稿では、個別の車両行動の代表集合を学習し、特定のシナリオに応じて各行動の確率を予測する統一確率モデルを提案する。
我々のモデルはまた、シナリオ上で条件付けられた連続的な軌道上の分布を推定することができ、そのシナリオで実行された場合、それぞれの離散アクションがどのように見えるかを表現します。
論文 参考訳（メタデータ） (2022-12-14T04:01:19Z) - Explainability as statistical inference [29.74336283497203]
本稿では、解釈可能な予測を生成するために設計された一般的な深層確率モデルを提案する。
モデルパラメータは最大限の確率で学習でき、任意の予測ネットワークアーキテクチャに適応することができる。
実験により,複数命令を用いるとより合理的な解釈が得られることが示された。
論文 参考訳（メタデータ） (2022-12-06T16:55:10Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - PSD Representations for Effective Probability Models [117.35298398434628]
最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。
我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
論文 参考訳（メタデータ） (2021-06-30T15:13:39Z) - Contextuality scenarios arising from networks of stochastic processes [68.8204255655161]
経験的モデルは、その分布が X 上の合同分布を極小化することができなければ文脈的と言える。
我々は、多くのプロセス間の相互作用という、文脈的経験的モデルの異なる古典的な源泉を示す。
長期にわたるネットワークの統計的挙動は、経験的モデルを一般的な文脈的かつ強い文脈的にする。
論文 参考訳（メタデータ） (2020-06-22T16:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。