論文の概要: Cross-lingual AMR Aligner: Paying Attention to Cross-Attention

• arxiv url: http://arxiv.org/abs/2206.07587v2
• Date: Mon, 19 Jun 2023 16:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 06:08:47.074527
• Title: Cross-lingual AMR Aligner: Paying Attention to Cross-Attention
• Title（参考訳）: 言語横断型AMR Aligner:注意をクロスアテンションに支払う
• Authors: Abelardo Carlos Mart\'inez Lorenzo, Pere-Llu\'is Huguet Cabot, Roberto Navigli
• Abstract要約: 本稿では,AMRグラフを多言語で拡張可能な新しい整列器を提案する。 異なる言語の文で単位とスパンを調整できる。
• 参考スコア（独自算出の注目度）: 38.731641198934646
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper introduces a novel aligner for Abstract Meaning Representation (AMR) graphs that can scale cross-lingually, and is thus capable of aligning units and spans in sentences of different languages. Our approach leverages modern Transformer-based parsers, which inherently encode alignment information in their cross-attention weights, allowing us to extract this information during parsing. This eliminates the need for English-specific rules or the Expectation Maximization (EM) algorithm that have been used in previous approaches. In addition, we propose a guided supervised method using alignment to further enhance the performance of our aligner. We achieve state-of-the-art results in the benchmarks for AMR alignment and demonstrate our aligner's ability to obtain them across multiple languages. Our code will be available at \href{https://www.github.com/Babelscape/AMR-alignment}{github.com/Babelscape/AMR-alignment}.
• Abstract（参考訳）: 本稿では,言語横断的拡張が可能な抽象的意味表現(amr)グラフのための新しいアライナーを提案する。 提案手法は,アライメント情報をクロスアライメント重みにエンコードする現代的なトランスフォーマティブベースのパーサを活用しており,解析中にその情報を抽出することができる。 これにより、以前のアプローチで使われた英語固有のルールや期待最大化(em)アルゴリズムの必要性がなくなる。 また,調整器の性能をさらに高めるためにアライメントを用いた教師付き指導手法を提案する。 AMRアライメントのベンチマークで最先端の結果が得られ、複数の言語にまたがってアライメントを行う能力を示す。 私たちのコードは、 \href{https://www.github.com/Babelscape/AMR-alignment}{github.com/Babelscape/AMR-alignment}で利用可能です。

関連論文リスト

• ASTRA: Aligning Speech and Text Representations for Asr without Sampling [20.925353958092874]
  ASTRAはテキスト注入による音声認識(ASR)を改善する新しい手法である。 一般的な技法とは異なり、ASTRAは音声とテキストのモダリティ間のシーケンス長をサンプリングする必要がない。
  論文  参考訳（メタデータ） (2024-06-10T15:39:04Z)
• Learning Partially Aligned Item Representation for Cross-Domain Sequential Recommendation [72.73379646418435]
  クロスドメインシーケンシャルレコメンデーションは、ドメイン間でのユーザのシーケンシャルな好みを明らかにすることを目的としている。 ミスアライメントアイテム表現は、サブ最適シーケンシャルモデリングとユーザ表現アライメントにつながる可能性がある。 textbfCross- domain item representation textbfAlignment for textbfCross-textbfDomain textbfSequential textbfRecommendationを提案する。
  論文  参考訳（メタデータ） (2024-05-21T03:25:32Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Asymmetric Cross-Scale Alignment for Text-Based Person Search [15.618984100653348]
  テキストに基づく人物探索 (TBPS) は知的監視において重要な意味を持つ歩行者画像の検索を目的としている。 このタスクを実装するには、画像ドメインとテキストドメインの両方からマルチスケールの機能を抽出し、その後、クロスモーダルアライメントを実行する必要がある。 マルチスケール表現を抽出し、非対称なクロススケールアライメント(ACSA)を行い、2つのモードを正確に整列するトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-26T08:34:35Z)
• Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings [7.026476782041066]
  我々は,マルチリンガルな文脈化表現を改善するために,微調整時のアライメント目的として最適輸送(OT)を提案する。 このアプローチでは、微調整の前に単語アライメントペアを必要とせず、教師なしの方法で文脈内の単語アライメントを学習する。
  論文  参考訳（メタデータ） (2021-10-06T16:13:45Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)
• Multilingual Alignment of Contextual Word Representations [49.42244463346612]
  BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。 単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。 これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
  論文  参考訳（メタデータ） (2020-02-10T03:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。