論文の概要: Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings

• arxiv url: http://arxiv.org/abs/2312.11272v1
• Date: Mon, 18 Dec 2023 15:16:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 19:44:48.771754
• Title: Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings
• Title（参考訳）: 変圧器に基づく文埋め込みにおける連続的および離散的言語信号の分離
• Authors: Vivi Nastase and Paola Merlo
• Abstract要約: 変圧器をベースとした文の埋め込みを,異なる言語信号を分離した表現に圧縮できるかどうかを考察する。 本研究では,目的とする現象を,変分オートエンコーダのようなシステムの潜在層に共有する入力シーケンスを圧縮することにより,対象とする言語情報がより明確になることを示す。
• 参考スコア（独自算出の注目度）: 1.8927791081850118
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sentence and word embeddings encode structural and semantic information in a distributed manner. Part of the information encoded -- particularly lexical information -- can be seen as continuous, whereas other -- like structural information -- is most often discrete. We explore whether we can compress transformer-based sentence embeddings into a representation that separates different linguistic signals -- in particular, information relevant to subject-verb agreement and verb alternations. We show that by compressing an input sequence that shares a targeted phenomenon into the latent layer of a variational autoencoder-like system, the targeted linguistic information becomes more explicit. A latent layer with both discrete and continuous components captures better the targeted phenomena than a latent layer with only discrete or only continuous components. These experiments are a step towards separating linguistic signals from distributed text embeddings and linking them to more symbolic representations.
• Abstract（参考訳）: 文と単語の埋め込みは、構造的および意味的情報を分散的にエンコードする。 符号化された情報の一部(特に語彙情報)は連続的に見ることができ、他の情報(構造情報など)は多くの場合離散的である。 我々は、トランスフォーマーに基づく文の埋め込みを、異なる言語信号(特に主語・動詞の一致や動詞の交替に関連する情報)を分離する表現に圧縮できるかどうかを探る。 可変オートエンコーダのようなシステムの潜在層に対象の事象を共有する入力シーケンスを圧縮することで、対象言語情報がより明確になることを示す。 離散的かつ連続的なコンポーネントを持つ潜伏層は、離散的または連続的なコンポーネントのみを持つ潜伏層よりも標的となる現象を捉える。 これらの実験は、言語信号を分散テキスト埋め込みから分離し、より象徴的な表現に結びつけるステップである。

関連論文リスト

• Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification [1.6021932740447968]
  トランスフォーマーモデルの解析により、テキスト入力から様々な言語情報をエンコードしていることが示されている。 文埋め込みにおいて,チャンク(特に名詞,動詞,前置詞句)に関する情報がどの程度に局所化できるかをテストする。 以上の結果から,これらの情報は文の埋め込み全体に分散するのではなく,特定の領域にエンコードされていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-25T15:27:08Z)
• Non-verbal information in spontaneous speech -- towards a new framework of analysis [0.5559722082623594]
  本稿では,韻律信号の分類のための解析的スキーマと技術的概念実証を提供する。 3つの順序の韻律現象を解き放つ分類過程を示す。 散在する韻律パターンは、コミュニケーションと音声の組織化の理論を導くことができる。
  論文  参考訳（メタデータ） (2024-03-06T08:03:05Z)
• Quantifying the redundancy between prosody and text [67.07817268372743]
  我々は大きな言語モデルを用いて、韻律と単語自体の間にどれだけの情報が冗長であるかを推定する。 単語が持つ情報と韻律情報の間には,複数の韻律的特徴にまたがる高い冗長性が存在する。 それでも、韻律的特徴はテキストから完全には予測できないことが観察され、韻律は単語の上下に情報を運ぶことが示唆された。
  論文  参考訳（メタデータ） (2023-11-28T21:15:24Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework [68.1678127433077]
  我々はトランスフォーマーモデルを拡張して,物語生成のためのエンティティ状態更新と文実現を動的に行う。 2つのナラティブデータセットの実験により、我々のモデルは強いベースラインよりも一貫性があり多様なナラティブを生成できることが示された。
  論文  参考訳（メタデータ） (2022-08-08T09:02:19Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Variable-rate discrete representation learning [20.81400194698063]
  シーケンスの高レベルな可変レート離散表現の教師なし学習のための遅いオートエンコーダを提案する。 入力信号の正解情報の密度に応じて,結果のイベントベース表現が自動的に成長または縮小することを示す。 イベントベース表現モデリングのためのラン長変換器を開発し,音声領域における言語モデルの構築に使用する。
  論文  参考訳（メタデータ） (2021-03-10T14:42:31Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Multi-channel Transformers for Multi-articulatory Sign Language Translation [59.38247587308604]
  本稿では,多調な手話翻訳課題に取り組み,新しいマルチチャネルトランスフォーマアーキテクチャを提案する。 提案アーキテクチャにより、異なる手話調節間の文脈内関係をトランスフォーマネットワーク内でモデル化することができる。
  論文  参考訳（メタデータ） (2020-09-01T09:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。