論文の概要: Formal Semantic Geometry over Transformer-based Variational AutoEncoder
- arxiv url: http://arxiv.org/abs/2210.06230v2
- Date: Tue, 11 Jun 2024 17:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 01:37:54.389445
- Title: Formal Semantic Geometry over Transformer-based Variational AutoEncoder
- Title（参考訳）: 変圧器を用いた変圧オートエンコーダの形式的意味幾何学
- Authors: Yingji Zhang, Danilo S. Carvalho, Ian Pratt-Hartmann, André Freitas,
- Abstract要約: 文意味論は,文意味論的な役割 - 単語内容の特徴 - の合成として構成され,形式的意味幾何学が提案される。
このような幾何学上の文ベクトルの移動を導くための新しい探索アルゴリズムを提案する。
実験結果から,形式的意味幾何学は文生成により良い制御と解釈をもたらす可能性が示唆された。
- 参考スコア（独自算出の注目度）: 10.209508287003155
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Formal/symbolic semantics can provide canonical, rigid controllability and interpretability to sentence representations due to their \textit{localisation} or \textit{composition} property. How can we deliver such property to the current distributional sentence representations to control and interpret the generation of language models (LMs)? In this work, we theoretically frame the sentence semantics as the composition of \textit{semantic role - word content} features and propose the formal semantic geometry. To inject such geometry into Transformer-based LMs (i.e. GPT2), we deploy Transformer-based Variational AutoEncoder with a supervision approach, where the sentence generation can be manipulated and explained over low-dimensional latent Gaussian space. In addition, we propose a new probing algorithm to guide the movement of sentence vectors over such geometry. Experimental results reveal that the formal semantic geometry can potentially deliver better control and interpretation to sentence generation.
- Abstract（参考訳）: 形式的/記号的意味論は、その \textit{localisation} や \textit{composition} プロパティによって、標準的で厳密な制御性と文表現への解釈性を提供することができる。
言語モデル(LM)の生成を制御・解釈するために、そのような特性を現在の分散文表現にどのように提供できるか。
本研究では, 文意味論を<textit{semantic role - word content}特徴の合成として理論的にフレーム化し, 形式的意味幾何学を提案する。
このような幾何学をトランスフォーマーベースのLM(すなわちGPT2)に注入するために、トランスフォーマーベースの変分オートエンコーダを監督的アプローチで展開し、低次元の潜在ガウス空間上で文生成を操作・説明することができる。
さらに,このような幾何学上の文ベクトルの移動を誘導する新しい探索アルゴリズムを提案する。
実験結果から,形式的意味幾何学は文生成により良い制御と解釈をもたらす可能性が示唆された。
関連論文リスト
- Unveiling Transformer Perception by Exploring Input Manifolds [41.364418162255184]
本稿では,Transformerモデルの入力空間における等価クラス探索法を提案する。
提案手法は、トランスフォーマーアーキテクチャの内部層を入力多様体の逐次変形として記述する音響数学的理論に基づいている。
論文 参考訳（メタデータ） (2024-10-08T13:20:31Z) - Transformers Can Represent $n$-gram Language Models [56.06361029539347]
本稿では,言語モデルの単純かつ歴史的なクラスであるトランスフォーマーLMと$n$-gram LMの関係に注目した。
ハードまたはスパースアテンション機構を用いたトランスフォーマーLMは,任意の$n$-gram LMを正確に表現できることを示す。
論文 参考訳（メタデータ） (2024-04-23T12:51:37Z) - Principled Paraphrase Generation with Parallel Corpora [52.78059089341062]
ラウンドトリップ機械翻訳によって引き起こされる暗黙の類似性関数を形式化する。
一つのあいまいな翻訳を共有する非パラフレーズ対に感受性があることが示される。
この問題を緩和する別の類似度指標を設計する。
論文 参考訳（メタデータ） (2022-05-24T17:22:42Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-03T06:41:19Z) - Self-Interpretable Model with TransformationEquivariant Interpretation [11.561544418482585]
変換同変解釈を用いた自己解釈モデルSITEを提案する。
我々は幾何学変換の解釈の堅牢性と自己整合性に焦点を当てる。
論文 参考訳（メタデータ） (2021-11-09T03:21:25Z) - GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained
Text Style Transfer [119.70961704127157]
近年,非並列テキストスタイルの転送が研究の関心を集めている。
現在のアプローチでは、元の文の内容やロジックを保存できない。
文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
論文 参考訳（メタデータ） (2021-02-01T11:08:45Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。
まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。
次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
論文 参考訳（メタデータ） (2020-05-05T09:02:25Z) - Putting a Spin on Language: A Quantum Interpretation of Unary
Connectives for Linguistic Applications [0.0]
ランベック・カルキュラスは構造規則の制御を許すために一様法則に依存している。
FVect と線型写像のコンパクト閉圏におけるランベック計算の合成解釈の提案がなされている。
我々の目標は、モダリティをベクトル解釈の第一級市民にすることである。
論文 参考訳（メタデータ） (2020-04-08T17:25:11Z) - Syntax-driven Iterative Expansion Language Models for Controllable Text
Generation [2.578242050187029]
本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。
実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
論文 参考訳（メタデータ） (2020-04-05T14:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。