論文の概要: Towards Unsupervised Content Disentanglement in Sentence Representations
via Syntactic Roles
- arxiv url: http://arxiv.org/abs/2206.11184v1
- Date: Wed, 22 Jun 2022 15:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 13:36:30.641388
- Title: Towards Unsupervised Content Disentanglement in Sentence Representations
via Syntactic Roles
- Title（参考訳）: 統語的役割による文表現における教師なし内容の絡み合い
- Authors: Ghazi Felhi, Joseph Le Roux, Djam\'e Seddah
- Abstract要約: 我々は注意駆動変分オートエンコーダ(ADVAE)を開発した。
本研究では,異なる構文的役割が明確に同定された潜在変数に対応する文の表現を得ることが可能であることを示す。
本研究は,教師なしコンテンツ生成に向けた第一歩となる。
- 参考スコア（独自算出の注目度）: 0.9582466286528458
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Linking neural representations to linguistic factors is crucial in order to
build and analyze NLP models interpretable by humans. Among these factors,
syntactic roles (e.g. subjects, direct objects,$\dots$) and their realizations
are essential markers since they can be understood as a decomposition of
predicative structures and thus the meaning of sentences. Starting from a deep
probabilistic generative model with attention, we measure the interaction
between latent variables and realizations of syntactic roles and show that it
is possible to obtain, without supervision, representations of sentences where
different syntactic roles correspond to clearly identified different latent
variables. The probabilistic model we propose is an Attention-Driven
Variational Autoencoder (ADVAE). Drawing inspiration from Transformer-based
machine translation models, ADVAEs enable the analysis of the interactions
between latent variables and input tokens through attention. We also develop an
evaluation protocol to measure disentanglement with regard to the realizations
of syntactic roles. This protocol is based on attention maxima for the encoder
and on latent variable perturbations for the decoder. Our experiments on raw
English text from the SNLI dataset show that $\textit{i)}$ disentanglement of
syntactic roles can be induced without supervision, $\textit{ii)}$ ADVAE
separates syntactic roles better than classical sequence VAEs and Transformer
VAEs, $\textit{iii)}$ realizations of syntactic roles can be separately
modified in sentences by mere intervention on the associated latent variables.
Our work constitutes a first step towards unsupervised controllable content
generation. The code for our work is publicly available.
- Abstract（参考訳）: 言語因子に神経表現をリンクすることは、人間の解釈可能なNLPモデルの構築と解析に不可欠である。
これらの要因のうち、構文的役割(主題、直接対象、$\dots$)とその実現は、述語構造と文の意味の分解として理解されるため、必須のマーカーである。
注意深い確率的生成モデルから,潜在変数間の相互作用と構文的役割の実現を計測し,異なる構文的役割が明瞭に識別された異なる潜在的変数に対応する文の表現を監督することなく得ることができることを示した。
私たちが提案する確率モデルは注意駆動型変分オートエンコーダ(advae)である。
トランスフォーマーベースの機械翻訳モデルからインスピレーションを得たADVAEは、注意を通して潜在変数と入力トークン間の相互作用の分析を可能にする。
また,構文的役割の実現に関して,絡み合いを測定するための評価プロトコルを開発した。
このプロトコルは、エンコーダの注意最大値とデコーダの潜伏変数摂動に基づいている。
snliデータセットからの生の英語テキストについての実験では,$\textit{i)}$構文的役割の不等角化は監督なしで誘導可能であること,$\textit{ii)}$ advaeは古典的シーケンスvaesとトランスフォーマーvaesよりも構文的役割を分離すること,$\textit{iii)}$構文的役割の実現は,関連する潜在変数に対する単なる介入によって文中で別々に修正可能であることが示されている。
我々の仕事は、教師なし制御可能なコンテンツ生成への第一歩を構成する。
私たちの仕事のコードは公開されています。
関連論文リスト
- Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Interpretable Sentence Representation with Variational Autoencoders and
Attention [0.685316573653194]
自然言語処理(NLP)における近年の表現学習技術の解釈可能性を高める手法を開発した。
変動オートエンコーダ (VAEs) は, 遅延生成因子の観測に有効である。
帰納的バイアスを持つ2つのモデルを構築し、潜在表現の情報を注釈付きデータなしで理解可能な概念に分離する。
論文 参考訳（メタデータ） (2023-05-04T13:16:15Z) - Disentangling Generative Factors in Natural Language with Discrete
Variational Autoencoders [0.0]
連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。
本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
論文 参考訳（メタデータ） (2021-09-15T09:10:05Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。
これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。
この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
論文 参考訳（メタデータ） (2020-11-28T00:46:43Z) - Disentangling Action Sequences: Discovering Correlated Samples [6.179793031975444]
我々は、データ自体が要因ではなく非絡み合いにおいて重要な役割を担い、非絡み合い表現は潜在変数とアクションシーケンスとを一致させることを示した。
本稿では,アクションシーケンスをステップバイステップで切り離すための新しいフレームワークFVAEを提案する。
dSprites と 3D Chairs の実験結果から, FVAE は絡み合いの安定性を向上させることが示された。
論文 参考訳（メタデータ） (2020-10-17T07:37:50Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳（メタデータ） (2020-08-15T21:03:36Z) - Self-Attention Attribution: Interpreting Information Interactions Inside
Transformer [89.21584915290319]
本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。
本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
論文 参考訳（メタデータ） (2020-04-23T14:58:22Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。