論文の概要: Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification

• arxiv url: http://arxiv.org/abs/2407.18119v1
• Date: Thu, 25 Jul 2024 15:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:39:06.762412
• Title: Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification
• Title（参考訳）: ターゲットスペーサー化による変圧器による文埋め込みにおける言語情報追跡
• Authors: Vivi Nastase, Paola Merlo,
• Abstract要約: トランスフォーマーモデルの解析により、テキスト入力から様々な言語情報をエンコードしていることが示されている。 文埋め込みにおいて,チャンク(特に名詞,動詞,前置詞句)に関する情報がどの程度に局所化できるかをテストする。 以上の結果から,これらの情報は文の埋め込み全体に分散するのではなく,特定の領域にエンコードされていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.6021932740447968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analyses of transformer-based models have shown that they encode a variety of linguistic information from their textual input. While these analyses have shed a light on the relation between linguistic information on one side, and internal architecture and parameters on the other, a question remains unanswered: how is this linguistic information reflected in sentence embeddings? Using datasets consisting of sentences with known structure, we test to what degree information about chunks (in particular noun, verb or prepositional phrases), such as grammatical number, or semantic role, can be localized in sentence embeddings. Our results show that such information is not distributed over the entire sentence embedding, but rather it is encoded in specific regions. Understanding how the information from an input text is compressed into sentence embeddings helps understand current transformer models and help build future explainable neural models.
• Abstract（参考訳）: トランスフォーマーモデルの解析により、テキスト入力から様々な言語情報をエンコードしていることが示されている。 これらの分析は、一方の言語情報と他方の内的構造とパラメータの関係に光を当てているが、疑問が残る:この言語情報はどのように文の埋め込みに反映されているか? 既知の構造を持つ文からなるデータセットを用いて、文法的数や意味的役割などのチャンクに関する情報(特に名詞、動詞、前置詞句)が、文の埋め込みの中でどの程度に局所化できるかをテストする。 以上の結果から,これらの情報は文の埋め込み全体に分散するのではなく,特定の領域にエンコードされていることが明らかとなった。 入力テキストからの情報が文の埋め込みにどのように圧縮されるかを理解することは、現在のトランスフォーマーモデルを理解し、将来の説明可能なニューラルモデルを構築するのに役立つ。

関連論文リスト

• Are there identifiable structural parts in the sentence embedding whole? [1.6021932740447968]
  変圧器モデルからの文の埋め込みは固定長ベクトルで多くの言語情報を符号化する。 これらの埋め込みは、分離できる情報の重なり合う層で構成されているという仮説を探求する。 本稿では,既知のチャンク構造を持つ文と2つの言語知能データセットからなるデータセットを用いた場合について述べる。
  論文  参考訳（メタデータ） (2024-06-24T11:58:33Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Putting Context in Context: the Impact of Discussion Structure on Text Classification [13.15873889847739]
  本稿では,英語における姿勢検出のための大規模データセットに関する一連の実験を提案する。 異なる種類の文脈情報の寄与を評価する。 構造情報はテキスト分類には非常に有用であるが,特定の状況下でのみ有用であることを示す。
  論文  参考訳（メタデータ） (2024-02-05T12:56:22Z)
• Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings [1.8927791081850118]
  変圧器をベースとした文の埋め込みを,異なる言語信号を分離した表現に圧縮できるかどうかを考察する。 本研究では,目的とする現象を,変分オートエンコーダのようなシステムの潜在層に共有する入力シーケンスを圧縮することにより,対象とする言語情報がより明確になることを示す。
  論文  参考訳（メタデータ） (2023-12-18T15:16:54Z)
• X-PARADE: Cross-Lingual Textual Entailment and Information Divergence across Paragraphs [55.80189506270598]
  X-PARADEは、段落レベルの情報の分岐の最初の言語間データセットである。 アノテーションは、対象言語における段落をスパンレベルでラベル付けし、ソース言語における対応する段落に対して評価する。 アライメントされた段落は、異なる言語のウィキペディアページから引用される。
  論文  参考訳（メタデータ） (2023-09-16T04:34:55Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Syntax-guided Localized Self-attention by Constituency Syntactic Distance [26.141356981833862]
  本稿では,Transformerのための構文誘導型ローカライズ自己アテンションを提案する。 外部の選挙区から直接文法構造を組み込むことができる。 実験結果から,本モデルによる翻訳性能の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T06:37:25Z)
• What Context Features Can Transformer Language Models Use? [32.49689188570872]
  英語ウィキペディアで学習したトランスフォーマー言語モデルにおいて,語彙情報と構造情報を選択的に評価することにより,有用な情報を測定する。 中・長距離両方のコンテキストにおいて、いくつかの極めて破壊的なコンテキスト操作が使用可能な情報の15%未満を除去していることが判明した。
  論文  参考訳（メタデータ） (2021-06-15T18:38:57Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。