論文の概要: AMR Alignment: Paying Attention to Cross-Attention

• arxiv url: http://arxiv.org/abs/2206.07587v1
• Date: Wed, 15 Jun 2022 15:12:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 14:22:56.314527
• Title: AMR Alignment: Paying Attention to Cross-Attention
• Title（参考訳）: AMRアライメント: クロスアテンションに注意を払う
• Authors: Pere-Llu\'is Huguet Cabot, Abelardo Carlos Mart\'inez Lorenzo, Roberto Navigli
• Abstract要約: 抽象的意味表現(英:Abstract Meaning Representation, AMR)は、文の意味の形式的表現に対する一般的なアプローチである。 これまで、文とAMR表現のアライメントはルールや期待最大化(EM)アルゴリズムなど、さまざまな方法で検討されてきた。 本稿では,グラフ内の文と意味単位のアライメントを代行して,クロスアテンションAMRの詳細な探索を行う。
• 参考スコア（独自算出の注目度）: 38.731641198934646
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the surge of Transformer models, many have investigated how attention acts on the learned representations. However, attention is still overlooked for specific tasks, such as Semantic Parsing. A popular approach to the formal representation of a sentence's meaning is Abstract Meaning Representation (AMR). Until now, the alignment between a sentence and its AMR representation has been explored in different ways, such as through rules or via the Expectation Maximization (EM) algorithm. In this paper, we investigate the ability of Transformer-based parsing models to yield effective alignments without ad-hoc strategies. We present the first in-depth exploration of cross-attention for AMR by proxy of alignment between the sentence spans and the semantic units in the graph. We show how current Transformer-based parsers implicitly encode the alignment information in the cross-attention weights and how to leverage it to extract such alignment. Furthermore, we supervise and guide cross-attention using alignment, dropping the need for English- and AMR-specific rules.
• Abstract（参考訳）: トランスフォーマーモデルの急増に伴い、多くの人は学習した表現に対する注意がどう作用するかを調査した。 しかし、セマンティック解析のような特定のタスクには、まだ注意が払われていない。 文の意味の形式的表現に対する一般的なアプローチは抽象的意味表現(AMR)である。 これまで、文とそのamr表現のアライメントは、規則や期待最大化(em)アルゴリズムなど、様々な方法で研究されてきた。 本稿では,アドホック戦略を使わずに効果的なアライメントを実現するトランスフォーマティブ解析モデルの能力について検討する。 本稿では,文スパンと意味単位間のアライメントの代理として,amrのクロスアテンションを初めて詳細に検討する。 現行のトランスフォーマーベースのパーサは,アライメント情報をクロスアライメント重みで暗黙的にエンコードする方法と,アライメントの抽出にそれを活用する方法を示す。 さらに、アライメントを用いて相互注意を監督し、ガイドし、英語およびAMR固有の規則の必要性をなくす。

関連論文リスト

• ASTRA: Aligning Speech and Text Representations for Asr without Sampling [20.925353958092874]
  ASTRAはテキスト注入による音声認識(ASR)を改善する新しい手法である。 一般的な技法とは異なり、ASTRAは音声とテキストのモダリティ間のシーケンス長をサンプリングする必要がない。
  論文  参考訳（メタデータ） (2024-06-10T15:39:04Z)
• Learning Partially Aligned Item Representation for Cross-Domain Sequential Recommendation [72.73379646418435]
  クロスドメインシーケンシャルレコメンデーションは、ドメイン間でのユーザのシーケンシャルな好みを明らかにすることを目的としている。 ミスアライメントアイテム表現は、サブ最適シーケンシャルモデリングとユーザ表現アライメントにつながる可能性がある。 textbfCross- domain item representation textbfAlignment for textbfCross-textbfDomain textbfSequential textbfRecommendationを提案する。
  論文  参考訳（メタデータ） (2024-05-21T03:25:32Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Asymmetric Cross-Scale Alignment for Text-Based Person Search [15.618984100653348]
  テキストに基づく人物探索 (TBPS) は知的監視において重要な意味を持つ歩行者画像の検索を目的としている。 このタスクを実装するには、画像ドメインとテキストドメインの両方からマルチスケールの機能を抽出し、その後、クロスモーダルアライメントを実行する必要がある。 マルチスケール表現を抽出し、非対称なクロススケールアライメント(ACSA)を行い、2つのモードを正確に整列するトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-26T08:34:35Z)
• Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings [7.026476782041066]
  我々は,マルチリンガルな文脈化表現を改善するために,微調整時のアライメント目的として最適輸送(OT)を提案する。 このアプローチでは、微調整の前に単語アライメントペアを必要とせず、教師なしの方法で文脈内の単語アライメントを学習する。
  論文  参考訳（メタデータ） (2021-10-06T16:13:45Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)
• Multilingual Alignment of Contextual Word Representations [49.42244463346612]
  BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。 単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。 これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
  論文  参考訳（メタデータ） (2020-02-10T03:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。