論文の概要: Disentangling semantics in language through VAEs and a certain architectural choice

• arxiv url: http://arxiv.org/abs/2012.13031v2
• Date: Mon, 28 Dec 2020 18:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:25:20.613767
• Title: Disentangling semantics in language through VAEs and a certain architectural choice
• Title（参考訳）: VAEによる言語意味論の分離とある建築的選択
• Authors: Ghazi Felhi, Joseph Le Roux, Djam\'e Seddah
• Abstract要約: 我々は変分オートエンコーダを訓練し、文を一定数の階層的に構造化された潜在変数に変換する。 文中のこれらの要素は,対応する潜伏変数によって変化し,複数の文間でスワップすることで,予測される部分的セマンティックスワップが生じることを示す。
• 参考スコア（独自算出の注目度）: 1.8907108368038217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an unsupervised method to obtain disentangled representations of sentences that single out semantic content. Using modified Transformers as building blocks, we train a Variational Autoencoder to translate the sentence to a fixed number of hierarchically structured latent variables. We study the influence of each latent variable in generation on the dependency structure of sentences, and on the predicate structure it yields when passed through an Open Information Extraction model. Our model could separate verbs, subjects, direct objects, and prepositional objects into latent variables we identified. We show that varying the corresponding latent variables results in varying these elements in sentences, and that swapping them between couples of sentences leads to the expected partial semantic swap.
• Abstract（参考訳）: 本稿では,意味コンテンツの単一抽出を行う文の異節表現を得るための教師なし手法を提案する。 修飾トランスフォーマーをビルディングブロックとして使用し、可変オートエンコーダを訓練して、文を階層的に構造化された潜在変数の固定数に変換する。 本研究では,各潜在変数が文の係り受け構造に及ぼす影響と,オープン情報抽出モデルによって得られる述語構造について検討した。 我々のモデルは、動詞、主語、直接オブジェクト、前置詞オブジェクトを我々が識別した潜在変数に分離することができる。 文中のこれらの要素は,対応する潜伏変数によって変化し,複数の文間でスワップすることで,予測される部分的セマンティックスワップが生じることを示す。

関連論文リスト

• Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification [1.6021932740447968]
  トランスフォーマーモデルの解析により、テキスト入力から様々な言語情報をエンコードしていることが示されている。 文埋め込みにおいて,チャンク(特に名詞,動詞,前置詞句)に関する情報がどの程度に局所化できるかをテストする。 以上の結果から,これらの情報は文の埋め込み全体に分散するのではなく,特定の領域にエンコードされていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-25T15:27:08Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Semantics of Multiword Expressions in Transformer-Based Models: A Survey [8.372465442144048]
  MWE(Multiword Expression)は複数の単語からなり、構成度の変動を示す。 トランスモデルを用いたMWE処理の詳細な調査を行った。 その結果,MWEのセマンティクスは表面パターンや記憶情報に依存して不整合であることがわかった。
  論文  参考訳（メタデータ） (2024-01-27T11:51:11Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Syntactic Substitutability as Unsupervised Dependency Syntax [31.488677474152794]
  依存関係関係や構文置換可能性の定義において、より一般的な性質を暗黙的にモデル化する。 この性質は、依存関係の両端にある単語が、同じカテゴリの単語で置き換えられるという事実を捉えている。 使用する代替品の数を増やすことで、自然データに対する解析精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-11-29T09:01:37Z)
• Towards Unsupervised Content Disentanglement in Sentence Representations via Syntactic Roles [0.9582466286528458]
  我々は注意駆動変分オートエンコーダ(ADVAE)を開発した。 本研究では,異なる構文的役割が明確に同定された潜在変数に対応する文の表現を得ることが可能であることを示す。 本研究は,教師なしコンテンツ生成に向けた第一歩となる。
  論文  参考訳（メタデータ） (2022-06-22T15:50:01Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Composed Variational Natural Language Generation for Few-shot Intents [118.37774762596123]
  現実的な不均衡シナリオにおいて、数ショットのインテントに対するトレーニング例を生成します。 生成した発話の質を評価するために、一般化された複数ショット意図検出タスクについて実験を行った。 提案モデルでは,2つの実世界の意図検出データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-09-21T17:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。