Fugu-MT 論文翻訳(概要): Are there identifiable structural parts in the sentence embedding whole?

論文の概要: Are there identifiable structural parts in the sentence embedding whole?

arxiv url: http://arxiv.org/abs/2406.16563v2
Date: Tue, 2 Jul 2024 14:14:48 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 06:39:57.039909
Title: Are there identifiable structural parts in the sentence embedding whole?
Title（参考訳）: 文中に構造的要素が埋め込まれているか?
Authors: Vivi Nastase, Paola Merlo,
Abstract要約: 変圧器モデルからの文の埋め込みは固定長ベクトルで多くの言語情報を符号化する。これらの埋め込みは、分離できる情報の重なり合う層で構成されているという仮説を探求する。本稿では,既知のチャンク構造を持つ文と2つの言語知能データセットからなるデータセットを用いた場合について述べる。
参考スコア（独自算出の注目度）: 1.6021932740447968
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Sentence embeddings from transformer models encode in a fixed length vector much linguistic information. We explore the hypothesis that these embeddings consist of overlapping layers of information that can be separated, and on which specific types of information -- such as information about chunks and their structural and semantic properties -- can be detected. We show that this is the case using a dataset consisting of sentences with known chunk structure, and two linguistic intelligence datasets, solving which relies on detecting chunks and their grammatical number, and respectively, their semantic roles, and through analyses of the performance on the tasks and of the internal representations built during learning.
Abstract（参考訳）: 変圧器モデルからの文の埋め込みは固定長ベクトルで多くの言語情報を符号化する。これらの埋め込みは、分離可能な情報の重なり合う層から成り、また、チャンクに関する情報やその構造的・意味的性質などの特定の種類の情報を検出することができるという仮説を探求する。本研究では,チャンク構造が既知の文と2つの言語知能データセットからなるデータセットを用いて,チャンクの検出と文法的数に依存し,それらの意味的役割,および学習中に構築されたタスクや内部表現のパフォーマンスの分析を通じて,それらの意味的役割を解明することを示す。

関連論文リスト

Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification [1.6021932740447968]
トランスフォーマーモデルの解析により、テキスト入力から様々な言語情報をエンコードしていることが示されている。文埋め込みにおいて,チャンク(特に名詞,動詞,前置詞句)に関する情報がどの程度に局所化できるかをテストする。以上の結果から,これらの情報は文の埋め込み全体に分散するのではなく,特定の領域にエンコードされていることが明らかとなった。
論文参考訳（メタデータ） (2024-07-25T15:27:08Z)
Putting Context in Context: the Impact of Discussion Structure on Text Classification [13.15873889847739]
本稿では,英語における姿勢検出のための大規模データセットに関する一連の実験を提案する。異なる種類の文脈情報の寄与を評価する。構造情報はテキスト分類には非常に有用であるが,特定の状況下でのみ有用であることを示す。
論文参考訳（メタデータ） (2024-02-05T12:56:22Z)
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文参考訳（メタデータ） (2023-03-07T21:42:17Z)
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。まず,幾何学的観点から構成構造を理解するための枠組みを提案する。次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文参考訳（メタデータ） (2023-02-28T08:11:56Z)
A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
論文参考訳（メタデータ） (2022-05-31T03:07:51Z)
Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文参考訳（メタデータ） (2021-06-09T22:59:12Z)
Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文参考訳（メタデータ） (2021-04-20T17:56:24Z)
A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution [3.5991811164452923]
文の構造表現を学習するための自己教師型フレームワークを提案する。本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
論文参考訳（メタデータ） (2020-10-14T02:57:10Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。