論文の概要: DOLFIN -- Document-Level Financial test set for Machine Translation

• arxiv url: http://arxiv.org/abs/2502.03053v1
• Date: Wed, 05 Feb 2025 10:30:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:42.070422
• Title: DOLFIN -- Document-Level Financial test set for Machine Translation
• Title（参考訳）: DOLFIN -- 機械翻訳のためのドキュメントレベルファイナンシャルテストセット
• Authors: Mariam Nakhlé, Marco Dinarelli, Raheel Qader, Emmanuelle Esperança-Rodier, Hervé Blanchon,
• Abstract要約: 文書レベル機械翻訳(MT)専用のテストセットを提案する。 データセットは、専門の財務文書から構築される。 テストセットは5つの言語ペアに対する1950年の平均的なアライメントセクションで構成されている。
• 参考スコア（独自算出の注目度）: 5.277262433756837
• License:
• Abstract: Despite the strong research interest in document-level Machine Translation (MT), the test sets dedicated to this task are still scarce. The existing test sets mainly cover topics from the general domain and fall short on specialised domains, such as legal and financial. Also, in spite of their document-level aspect, they still follow a sentence-level logic that does not allow for including certain linguistic phenomena such as information reorganisation. In this work, we aim to fill this gap by proposing a novel test set: DOLFIN. The dataset is built from specialised financial documents, and it makes a step towards true document-level MT by abandoning the paradigm of perfectly aligned sentences, presenting data in units of sections rather than sentences. The test set consists of an average of 1950 aligned sections for five language pairs. We present a detailed data collection pipeline that can serve as inspiration for aligning new document-level datasets. We demonstrate the usefulness and quality of this test set by evaluating a number of models. Our results show that the test set is able to discriminate between context-sensitive and context-agnostic models and shows the weaknesses when models fail to accurately translate financial texts. The test set is made public for the community.
• Abstract（参考訳）: 文書レベルの機械翻訳(MT)への強い研究関心にもかかわらず、このタスク専用のテストセットはいまだに不足している。 既存のテストセットは主に一般ドメインのトピックをカバーし、法律や財務などの専門ドメインでは不足している。 また、文書レベルの側面にもかかわらず、情報再構成のような特定の言語現象を含まない文レベルの論理に従わなければならない。 本研究では,新しいテストセットであるDOLFINを提案することで,このギャップを埋めることを目指している。 データセットは、専門化された財務文書から構築され、完全に整列された文のパラダイムを捨て、文ではなくセクション単位でデータを提示することで、真の文書レベルMTに向かって一歩前進する。 テストセットは5つの言語ペアに対する1950年の平均的なアライメントセクションで構成されている。 我々は、新しいドキュメントレベルのデータセットを整合させるインスピレーションとなる、詳細なデータ収集パイプラインを提案する。 複数のモデルを評価することにより,本テストの有用性と品質を実証する。 本結果から,テストセットは文脈依存モデルと文脈依存モデルとを区別し,財務テキストの正確な翻訳に失敗する場合の弱点を示す。 テストセットはコミュニティ向けに公開されています。

関連論文リスト

• Recovering document annotations for sentence-level bitext [18.862295675088056]
  我々は、ドイツ語、フランス語、スペイン語、イタリア語、ポーランド語、ポルトガル語の3つのデータセットの文書レベルの情報を再構築する。 本稿では,従来のbitextフィルタに代わる文書レベルのフィルタリング手法を提案する。 最後に、これらの長い文脈でモデルをトレーニングし、文章レベルの翻訳を劣化させることなく文書レベルの翻訳を改善することを示す。
  論文  参考訳（メタデータ） (2024-06-06T08:58:14Z)
• Identifying Context-Dependent Translations for Evaluation Set Production [11.543673351369183]
  文脈対応機械翻訳への移行に対する大きな障害は、優れた評価指標とテストセットがないことである。 我々は,5つの現象を翻訳するために文脈を必要とする文を含む並列文書のサブセットを識別するツールであるCTXPROを開発した。 パイプラインへの入力は、文脈的な文ペアを選択する手作り、言語ごと、言語的にインフォームドされたルールのセットである。
  論文  参考訳（メタデータ） (2023-11-04T04:29:08Z)
• Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation [45.56189820979461]
  Document Flattening(DocFlat)技術は、Flat-Batch Attention(FB)とNeural Context Gate(NCG)をTransformerモデルに統合する。 我々は、英語とドイツ語の翻訳のための3つのベンチマークデータセットに関する総合的な実験と分析を行う。
  論文  参考訳（メタデータ） (2023-02-16T04:38:34Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• Automatic Construction of Evaluation Suites for Natural Language Generation Datasets [17.13484629172643]
  我々は、制御された摂動を生成し、テキストからスカラー、テキストからテキストへ、あるいはデータからテキストへ設定したサブセットを識別するフレームワークを開発する。 80個のチャレンジセットからなる評価スイートを提案し、現在の世代モデルの限界に光を当てることを可能にした分析の種類を実証する。
  論文  参考訳（メタデータ） (2021-06-16T18:20:58Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)
• ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension [53.037401638264235]
  我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。 評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
  論文  参考訳（メタデータ） (2019-12-29T07:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。