Fugu-MT 論文翻訳(概要): SentAlign: Accurate and Scalable Sentence Alignment

論文の概要: SentAlign: Accurate and Scalable Sentence Alignment

arxiv url: http://arxiv.org/abs/2311.08982v1
Date: Wed, 15 Nov 2023 14:15:41 GMT
ステータス: 処理完了
システム内更新日: 2023-11-16 15:43:57.101657
Title: SentAlign: Accurate and Scalable Sentence Alignment
Title（参考訳）: SentAlign: 正確でスケーラブルな文のアライメント
Authors: Stein{\th}\'or Steingr\'imsson, Hrafn Loftsson, Andy Way
Abstract要約: SentAlignは、非常に大きな並列ドキュメントペアを扱うように設計された、正確な文アライメントツールである。アライメントアルゴリズムは、数千の文からなるかなり大きな文書における全ての可能なアライメントパスを評価し、数万の文を含む文書のアライメントに分割・コンカレントアプローチを使用する。
参考スコア（独自算出の注目度）: 4.363828136730248
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present SentAlign, an accurate sentence alignment tool designed to handle very large parallel document pairs. Given user-defined parameters, the alignment algorithm evaluates all possible alignment paths in fairly large documents of thousands of sentences and uses a divide-and-conquer approach to align documents containing tens of thousands of sentences. The scoring function is based on LaBSE bilingual sentence representations. SentAlign outperforms five other sentence alignment tools when evaluated on two different evaluation sets, German-French and English-Icelandic, and on a downstream machine translation task.
Abstract（参考訳）: 我々は,非常に大きな並列文書ペアを扱うための正確な文アライメントツールであるsentialignを提案する。ユーザ定義パラメータが与えられた場合、アライメントアルゴリズムは、数千の文からなるかなり大きなドキュメントで可能なアライメントパスをすべて評価し、数万の文を含むドキュメントのアライメントに分割・コンカレントアプローチを使用する。スコアリング関数はLaBSEバイリンガル文表現に基づいている。 SentAlignは2つの異なる評価セット、ドイツ語と英語とアイスランド語、下流の機械翻訳タスクで評価すると、他の5つの文アライメントツールより優れている。

関連論文リスト

How Transliterations Improve Crosslingual Alignment [48.929677368744606]
近年の研究では、アライメント目的を用いた多言語事前学習言語モデル(mPLM)が言語横断アライメントを改善することが示されている。本稿では, 言語間のアライメントを明示的に評価し, 翻訳に基づくアプローチにおける重要な要素を同定し, 性能向上に寄与する。
論文参考訳（メタデータ） (2024-09-25T20:05:45Z)
Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts [50.00305136008848]
本研究では,並列コーパスマイニングのためのフレームワークを提案し,Coursera の公開講義から並列コーパスを迅速かつ効果的にマイニングする方法を提案する。日英両国の講義翻訳において,約5万行の並列コーパスを抽出し,開発・テストセットを作成した。また,コーパスの収集とクリーニング,並列文のマイニング,マイニングデータのクリーニング,高品質な評価スプリットの作成に関するガイドラインも提案した。
論文参考訳（メタデータ） (2023-11-07T03:50:25Z)
DEPLAIN: A German Parallel Corpus with Intralingual Translations into Plain Language for Sentence and Document Simplification [1.5223905439199599]
そこで本論文では, パラレル, プロライティング, 手作業による手作業による簡易化のデータセットであるDeplainについて述べる。 Deplain を用いてトランスフォーマーベースの seq2seq テキスト簡易化モデルを訓練することで,有望な結果が得られることを示す。コーパス、ドイツ語の適応したアライメント方法、ウェブ収穫機、そしてここで訓練されたモデルを利用可能にしています。
論文参考訳（メタデータ） (2023-05-30T11:07:46Z)
Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。我々の手法は文の埋め込みを大幅に改善できる。
論文参考訳（メタデータ） (2023-05-16T03:53:30Z)
A New Aligned Simple German Corpus [2.7981463795578927]
単純ドイツ語のための文列単言語コーパスを新たに提案する。自動文アライメント手法を用いてアライメントした複数の文書アライメントソースを含んでいる。文のアライメントの質は、F1スコアで測定されたように、以前の作業を上回る。
論文参考訳（メタデータ） (2022-09-02T15:14:04Z)
EAG: Extract and Generate Multi-way Aligned Corpus for Complete Multi-lingual Neural Machine Translation [63.88541605363555]
EAG(Extract and Generate)は,バイリンガルデータから大規模かつ高品質なマルチウェイアライメントコーパスを構築するための2段階のアプローチである。まず、異なる言語対から、非常に類似したソースやターゲット文を持つバイリンガルな例をペアリングして、候補に整列した例を抽出する。次に、よく訓練された生成モデルを用いて、候補から最終的な整列例を生成する。
論文参考訳（メタデータ） (2022-03-04T08:21:27Z)
Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings [7.026476782041066]
我々は,マルチリンガルな文脈化表現を改善するために,微調整時のアライメント目的として最適輸送(OT)を提案する。このアプローチでは、微調整の前に単語アライメントペアを必要とせず、教師なしの方法で文脈内の単語アライメントを学習する。
論文参考訳（メタデータ） (2021-10-06T16:13:45Z)
Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
論文参考訳（メタデータ） (2021-01-20T17:54:47Z)
Subword Sampling for Low Resource Word Alignment [4.663577299263155]
テキスト単位のサブワードサンプリングに基づくアライメントを提案する。サブワードサンプリング法が6つの言語ペアの単語レベルアライメントを一貫して上回ることを示す。
論文参考訳（メタデータ） (2020-12-21T19:47:04Z)
Multilingual Alignment of Contextual Word Representations [49.42244463346612]
BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
論文参考訳（メタデータ） (2020-02-10T03:27:21Z)
Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance [8.395430195053061]
ドキュメントアライメントは、互いに同等のコンテンツや翻訳を持つ2つの異なる言語で文書のペアを特定することを目的としている。言語間文の埋め込みを利用した教師なしスコアリング機能を開発し、異なる言語の文書間の意味的距離を計算する。これらのセマンティック距離は、文書アライメントアルゴリズムを誘導して、低言語、中言語、高リソースの様々なペアで言語間ウェブ文書を適切にペアリングする。
論文参考訳（メタデータ） (2020-01-31T05:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。