論文の概要: Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics

• arxiv url: http://arxiv.org/abs/2005.02991v2
• Date: Sun, 10 May 2020 14:35:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 05:32:08.887666
• Title: Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics
• Title（参考訳）: ピクシーの自動エンコーディング:関数分布意味論のためのグラフ畳み込みを用いた不定形変分推論
• Authors: Guy Emerson
• Abstract要約: Pixie Autoencoderはグラフ畳み込みニューラルネットワークを用いて関数分散セマンティックスの生成モデルを拡張して、償却変分推論を実行する。
• 参考スコア（独自算出の注目度）: 12.640283469603355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Functional Distributional Semantics provides a linguistically interpretable framework for distributional semantics, by representing the meaning of a word as a function (a binary classifier), instead of a vector. However, the large number of latent variables means that inference is computationally expensive, and training a model is therefore slow to converge. In this paper, I introduce the Pixie Autoencoder, which augments the generative model of Functional Distributional Semantics with a graph-convolutional neural network to perform amortised variational inference. This allows the model to be trained more effectively, achieving better results on two tasks (semantic similarity in context and semantic composition), and outperforming BERT, a large pre-trained language model.
• Abstract（参考訳）: 関数分布セマンティクスは、単語の意味をベクトルの代わりに関数(二分分類器)として表現することで、分布セマンティクスのための言語的に解釈可能なフレームワークを提供する。 しかし、潜在変数の数が多ければ、推論は計算に高価であり、モデルのトレーニングは収束が遅いことを意味する。 本稿では,グラフ畳み込みニューラルネットワークを用いて関数分布セマンティックスの生成モデルを拡張し,補正された変分推論を行うPixie Autoencoderを提案する。 これにより、モデルはより効果的にトレーニングされ、2つのタスク(コンテキストとセマンティックな構成のセマンティックな類似性)でより良い結果が得られる。

関連論文リスト

• SemFlow: Binding Semantic Segmentation and Image Synthesis via Rectified Flow [94.90853153808987]
  セマンティックセグメンテーション(Semantic segmentation)とセマンティックイメージ合成(Semantic image synthesis)は、視覚知覚と生成において代表的なタスクである。 我々は、統一されたフレームワーク(SemFlow)を提案し、それらを2つの逆問題としてモデル化する。 実験の結果,セマンティックセグメンテーションとセマンティック画像合成タスクにおいて,セマンティックセグメンテーションと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-05-30T17:34:40Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Learning Functional Distributional Semantics with Visual Data [12.640283469603355]
  そこで本稿では,視覚データを用いた関数分布意味論モデルの学習手法を提案する。 私たちは、大きなテキストコーパスよりも、人間の言語習得で遭遇するデータの種類に近いVisual Genomeデータセットでそれをトレーニングします。
  論文  参考訳（メタデータ） (2022-04-22T10:41:39Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Function Contrastive Learning of Transferable Meta-Representations [38.31692245188669]
  共同訓練がメタ表現の伝達性に及ぼす影響について検討した。 教師付きメタ学習のためのデカップリングエンコーダデコーダアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T13:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。