論文の概要: Scaling Unsupervised Word Alignment to Documents via Structural Constraints

• arxiv url: http://arxiv.org/abs/2608.21023v1
• Date: Fri, 21 Aug 2026 12:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.523078
• Title: Scaling Unsupervised Word Alignment to Documents via Structural Constraints
• Title（参考訳）: 構造制約による文書への教師なし単語アライメントのスケーリング
• Abstract要約: CTFAlignは、文書レベルの単語アライメントのための軽量でトレーニング不要なアプローチである。 MDPAlignも導入しています。これは、主対角線上の位置によるアライメントを制約する、よりシンプルな代替手段です。 CTFAlignは平均3モデルで、単語アライメントエラー率を0.412から0.326に下げる。
• 参考スコア（独自算出の注目度）: 38.797311337915175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word alignment has traditionally been studied between sentences, but many cross-lingual tasks increasingly require correspondences across full documents. While recent multilingual embedding models can encode long inputs, we show that applying algorithms designed for sentences directly to documents leads to performance degradation. To address this, we introduce CTFAlign, a lightweight, training-free approach for document-level word alignment. CTFAlign applies a coarse-to-fine refinement strategy that restricts the alignment search space to semantically similar regions. Additionally, we introduce MDPAlign, a simpler alternative that constrains alignments by position with a main diagonal prior. Both approaches operate directly on full documents without relying on sentence segmentation or sentence alignment. We evaluate these methods across six language pairs varying in typological distance, resourcedness, and document length. Averaged over three models, CTFAlign reduces word alignment error rate from 0.412 to 0.326. These gains transfer downstream, leading to improvements in document-level translation coverage evaluation and recognition of semantic differences. We release CTFAlign as a Python package and make the code and data to reproduce our experiments publicly available.
• Abstract（参考訳）: 単語のアライメントは伝統的に文間で研究されてきたが、言語間のタスクの多くは、文書全体にわたる対応を必要としている。 最近の多言語埋め込みモデルでは長い入力をエンコードできるが、文書に直接文として設計したアルゴリズムを適用すると性能が低下することを示す。 これを解決するために、文書レベルの単語アライメントのための軽量でトレーニング不要なアプローチであるCTFAlignを導入する。 CTFAlignは、アライメント検索空間を意味的に類似した領域に制限する粗大な精細化戦略を適用している。 さらに,従来の主対角線の位置によるアライメントを制約する,よりシンプルな代替手段であるMDPAlignを導入する。 どちらのアプローチも、文のセグメンテーションや文のアライメントに頼ることなく、フルドキュメントで直接動作する。 これらの手法は, 類型的距離, 資源性, 文書の長さによって異なる6つの言語対にまたがって評価される。 CTFAlignは平均3モデルで、単語アライメントエラー率を0.412から0.326に下げる。 これらのことは、文書レベルの翻訳カバレッジの評価と意味的差異の認識の改善につながる。 CTFAlignをPythonパッケージとしてリリースし、コードとデータを公開して実験を再現します。

関連論文リスト

• OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment [10.629976569255229]
  我々は,単語レベルのアライメントと文レベルのアライメントをサポートする統一多言語アライメント器であるOmniAlignを提案する。 OmniAlignはエンコーダのみのバックボーン上に構築されており、コンテキスト化されたトークン類似性行列から単語アライメントを誘導する。 実験により、OmniAlignは単語と文のアライメントのベンチマークで高い競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-08-19T03:02:43Z)
• Pralekha: Cross-Lingual Document Alignment for Indic Languages [24.881962056284692]
  ドキュメントアライメント係数(DAC)は、きめ細かいドキュメントアライメントのための新しい計量である。 プールベースの手法とは異なり、DACは小さなチャンクをマッチングして文書を整列し、一対の平均チャンク数に対する整列チャンクの比率として類似性を計算する。
  論文  参考訳（メタデータ） (2024-11-28T12:17:24Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• In-context Pretraining: Language Modeling Beyond Document Boundaries [137.53145699439898]
  In-Context Pretrainingは、言語モデルが関連するドキュメントのシーケンスで事前トレーニングされる新しいアプローチである。 本稿では, 近接探索を効率的に行うための近似アルゴリズムを提案する。 より複雑なコンテキスト推論を必要とするタスクの顕著な改善が見られます。
  論文  参考訳（メタデータ） (2023-10-16T17:57:12Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings? [18.968571816913208]
  本稿では,LASER,LaBSE,Sentence BERTを事前学習した多言語モデルに基づく文から文書レベルの表現を生成する手法を体系的に比較する。 文の埋め込みの巧妙な組み合わせは、通常、全文書を単一の単位としてエンコードするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-28T12:11:21Z)
• Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment [49.45399359826453]
  言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。 本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。 実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T13:36:01Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy [3.299672391663527]
  本稿では,単語ペアを必要としない単語埋め込みアライメントのためのエンドツーエンドアプローチを提案する。 本手法は, 文章翻訳訓練において, 局所的な最大平均離散性(MMD)制約を用いて整列した埋め込みを学習する。 提案手法は,教師なしの手法だけでなく,既知の単語翻訳を訓練する教師付き手法にも優れることを示す。
  論文  参考訳（メタデータ） (2020-06-20T13:57:55Z)
• Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance [8.395430195053061]
  ドキュメントアライメントは、互いに同等のコンテンツや翻訳を持つ2つの異なる言語で文書のペアを特定することを目的としている。 言語間文の埋め込みを利用した教師なしスコアリング機能を開発し、異なる言語の文書間の意味的距離を計算する。 これらのセマンティック距離は、文書アライメントアルゴリズムを誘導して、低言語、中言語、高リソースの様々なペアで言語間ウェブ文書を適切にペアリングする。
  論文  参考訳（メタデータ） (2020-01-31T05:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。