Fugu-MT 論文翻訳(概要): Idioms, Probing and Dangerous Things: Towards Structural Probing for Idiomaticity in Vector Space

論文の概要: Idioms, Probing and Dangerous Things: Towards Structural Probing for Idiomaticity in Vector Space

arxiv url: http://arxiv.org/abs/2304.14333v1
Date: Thu, 27 Apr 2023 17:06:20 GMT
ステータス: 処理完了
システム内更新日: 2023-04-28 12:32:07.125805
Title: Idioms, Probing and Dangerous Things: Towards Structural Probing for Idiomaticity in Vector Space
Title（参考訳）: 慣用法, 探索法, 危険物: ベクトル空間の慣用性に関する構造的探究に向けて
Authors: Filip Klubi\v{c}ka, Vasudevan Nedumpozhimana, John D. Kelleher
Abstract要約: 本研究の目的は, 埋め込まれた慣用的な情報がどのように構造的にコード化されているか, より深く知ることである。静的 (GloVe) とコンテキスト埋め込み (BERT) の比較検討を行った。実験の結果,慣用性がベクトルノルムに符号化されているかどうかの矛盾する証拠が得られた。
参考スコア（独自算出の注目度）: 2.5288257442251107
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The goal of this paper is to learn more about how idiomatic information is structurally encoded in embeddings, using a structural probing method. We repurpose an existing English verbal multi-word expression (MWE) dataset to suit the probing framework and perform a comparative probing study of static (GloVe) and contextual (BERT) embeddings. Our experiments indicate that both encode some idiomatic information to varying degrees, but yield conflicting evidence as to whether idiomaticity is encoded in the vector norm, leaving this an open question. We also identify some limitations of the used dataset and highlight important directions for future work in improving its suitability for a probing analysis.
Abstract（参考訳）: 本論文の目標は,構造的探索法を用いて,慣用的情報が組込みにどのように構造的にエンコードされるかを知ることである。既存の英語の多単語表現(MWE)データセットを用いて、探索フレームワークに適合し、静的(GloVe)および文脈的(BERT)埋め込みの比較検討を行う。我々の実験は、どちらもいくつかの慣用的な情報を異なる次数にエンコードするが、慣用性がベクトルノルムにエンコードされているかどうかについての矛盾する証拠を与え、これは公然とした疑問であることを示している。また、使用済みデータセットのいくつかの制限を特定し、探索分析に適合性を改善するための将来の作業の重要な方向を強調する。

関連論文リスト

Putting Context in Context: the Impact of Discussion Structure on Text Classification [13.15873889847739]
本稿では,英語における姿勢検出のための大規模データセットに関する一連の実験を提案する。異なる種類の文脈情報の寄与を評価する。構造情報はテキスト分類には非常に有用であるが,特定の状況下でのみ有用であることを示す。
論文参考訳（メタデータ） (2024-02-05T12:56:22Z)
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
論文参考訳（メタデータ） (2023-10-18T12:32:07Z)
Contextual information integration for stance detection via cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。文脈情報をテキストとして統合する手法を提案する。
論文参考訳（メタデータ） (2022-11-03T15:04:29Z)
Probing with Noise: Unpicking the Warp and Weft of Embeddings [2.9874726192215157]
ベクトルノルムは言語情報も持てると論じる。提案手法は,探索フレームワークの拡張である。英語GloVe と BERT の埋め込みにおける別個の情報コンテナの存在を裏付ける証拠が見つかった。
論文参考訳（メタデータ） (2022-10-21T19:33:33Z)
A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
論文参考訳（メタデータ） (2022-05-31T03:07:51Z)
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文参考訳（メタデータ） (2022-05-23T16:47:37Z)
Unsupervised Word Translation Pairing using Refinement based Point Set Registration [8.568050813210823]
単語埋め込みの言語間アライメントは、言語間の知識伝達において重要な役割を果たす。現在の教師なしのアプローチは、言語にまたがる単語埋め込み空間の幾何学的構造における類似性に依存している。本稿では,バイリンガル単語の共有ベクトル空間への埋め込みを教師なしでマッピングするBioSpereを提案する。
論文参考訳（メタデータ） (2020-11-26T09:51:29Z)
GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
論文参考訳（メタデータ） (2020-10-06T20:30:35Z)
Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文参考訳（メタデータ） (2020-10-06T15:21:08Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)
How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation [82.96358326053115]
構造設計選択に対する探索作業結果の感度について検討する。我々は、英語で識別する「安定な領域」にある設計選択を多言語で構成した埋め込みを探索する。私たちは英語の結果が他の言語に移行しないことに気付きます。
論文参考訳（メタデータ） (2020-06-16T12:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。