論文の概要: TransAlign: Machine Translation Encoders are Strong Word Aligners, Too

• arxiv url: http://arxiv.org/abs/2510.27337v1
• Date: Fri, 31 Oct 2025 10:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.063443
• Title: TransAlign: Machine Translation Encoders are Strong Word Aligners, Too
• Title（参考訳）: TransAlign:機械翻訳エンコーダも強力なワードアライナー
• Authors: Benedikt Ebing, Christian Goldschmied, Goran Glavaš,
• Abstract要約: 本稿では,多言語機械翻訳モデルのエンコーダを利用した新しい単語整合器であるTransAlignを提案する。 本稿では,TransAlign が強力な WA 性能を実現し,従来の WA と最先端の非WA ラベルプロジェクション法を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 5.078113219758536
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In the absence of sizable training data for most world languages and NLP tasks, translation-based strategies such as translate-test -- evaluating on noisy source language data translated from the target language -- and translate-train -- training on noisy target language data translated from the source language -- have been established as competitive approaches for cross-lingual transfer (XLT). For token classification tasks, these strategies require label projection: mapping the labels from each token in the original sentence to its counterpart(s) in the translation. To this end, it is common to leverage multilingual word aligners (WAs) derived from encoder language models such as mBERT or LaBSE. Despite obvious associations between machine translation (MT) and WA, research on extracting alignments with MT models is largely limited to exploiting cross-attention in encoder-decoder architectures, yielding poor WA results. In this work, in contrast, we propose TransAlign, a novel word aligner that utilizes the encoder of a massively multilingual MT model. We show that TransAlign not only achieves strong WA performance but substantially outperforms popular WA and state-of-the-art non-WA-based label projection methods in MT-based XLT for token classification.
• Abstract（参考訳）: ほとんどの世界言語やNLPタスクの大規模なトレーニングデータがないため、トランスレーショナルテストのような翻訳ベースの戦略 -- 対象言語から翻訳されたノイズの多いソース言語データに基づく評価 -- と、ソース言語から翻訳されたノイズの多いターゲット言語データに基づくトレーニング -- は、クロスランガルトランスファー(XLT)の競争的アプローチとして確立されている。 トークン分類タスクでは、これらの戦略はラベルプロジェクションを必要とする: 元の文のそれぞれのトークンから翻訳の相手にラベルをマッピングする。 この目的のために、mBERTやLaBSEといったエンコーダ言語モデルから派生した多言語単語整合子(WA)を利用するのが一般的である。 機械翻訳(MT)とWAの間には明らかな関連があるが、MTモデルとのアライメントの抽出に関する研究はエンコーダ・デコーダアーキテクチャにおけるクロスアテンションの活用に限られており、WAの結果は貧弱である。 本研究では,多言語MTモデルのエンコーダを利用した新しい単語整合器であるTransAlignを提案する。 我々は,TransAlignが強力なWA性能を達成するだけでなく,トークン分類のためのMTベースXLTにおいて,人気WAと最先端の非WAベースラベルプロジェクション法を著しく上回ることを示す。

関連論文リスト

• The Devil Is in the Word Alignment Details: On Translation-Based Cross-Lingual Transfer for Token Classification Tasks [0.0]
  低レベル設計決定がトークンレベルXLTに与える影響について検討する。 最適化された選択により、XLT with WAは少なくともマーカーベースのメソッドに匹敵するパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-05-15T17:10:50Z)
• Constrained Decoding for Cross-lingual Label Projection [27.567195418950966]
  ラベル付き学習データを持たない低リソース言語では,多言語 LLM を用いた言語間移動が一般的な学習パラダイムとなっている。 しかし、単語やフレーズの微粒な予測を含むNLPタスクでは、ゼロショットの言語間移動学習は教師付き微調整法よりもはるかに遅れている。
  論文  参考訳（メタデータ） (2024-02-05T15:57:32Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。