論文の概要: CDA: a Cost Efficient Content-based Multilingual Web Document Aligner

• arxiv url: http://arxiv.org/abs/2102.10246v1
• Date: Sat, 20 Feb 2021 03:37:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 15:17:30.125498
• Title: CDA: a Cost Efficient Content-based Multilingual Web Document Aligner
• Title（参考訳）: CDA: コスト効率の高いコンテンツベースの多言語Webドキュメントアグリゲーナ
• Authors: Thuy Vu and Alessandro Moschitti
• Abstract要約: 多言語のWebドキュメントをコンテンツに基づいて整列させる、Content-based Document Alignmentアプローチを紹介します。 我々はtf-idfを用いたベクトル表現構築に語彙翻訳モデルを利用する。 実験によると、cdaは堅牢でコスト効率が高く、(i)大規模でノイズの多いwebデータの処理や(ii)新しくて低リソースな言語へのスケーリングにおいて著しく優れている。
• 参考スコア（独自算出の注目度）: 97.98885151955467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a Content-based Document Alignment approach (CDA), an efficient method to align multilingual web documents based on content in creating parallel training data for machine translation (MT) systems operating at the industrial level. CDA works in two steps: (i) projecting documents of a web domain to a shared multilingual space; then (ii) aligning them based on the similarity of their representations in such space. We leverage lexical translation models to build vector representations using TF-IDF. CDA achieves performance comparable with state-of-the-art systems in the WMT-16 Bilingual Document Alignment Shared Task benchmark while operating in multilingual space. Besides, we created two web-scale datasets to examine the robustness of CDA in an industrial setting involving up to 28 languages and millions of documents. The experiments show that CDA is robust, cost-effective, and is significantly superior in (i) processing large and noisy web data and (ii) scaling to new and low-resourced languages.
• Abstract（参考訳）: 産業レベルで動作する機械翻訳(mt)システムの並列学習データを作成する際に,コンテンツに基づく多言語web文書のアライメントを効率的に行うためのcda(content-based document alignment approach)を提案する。 CDAは2つのステップで機能する: (i) Webドメインのドキュメントを共有多言語空間に投影し、 (ii) それらの表現の類似性に基づいてそれらを整列する。 我々はtf-idfを用いたベクトル表現構築に語彙翻訳モデルを利用する。 CDAは、多言語空間で動作しながら、WMT-16バイリンガル文書アライメント共有タスクベンチマークにおける最先端システムに匹敵する性能を達成する。 さらに、28の言語と数百万のドキュメントを含む産業環境でcdaの堅牢性を調べるために、2つのwebスケールデータセットを作成しました。 実験によれば、cdaは堅牢でコスト効率が高く、(i)大規模でノイズの多いwebデータの処理や(ii)新しくて低リソースな言語へのスケーリングにおいて著しく優れている。

関連論文リスト

• A Multi-Modal Multilingual Benchmark for Document Image Classification [21.7518357653137]
  新たに作成した2つの多言語データセットWIKI-DOCと MultiEUR-DOCLEXを紹介する。 我々は、文書画像分類における未検証設定において、視覚的に豊富な文書理解や文書AIモデルについて研究する。 実験結果から,多言語間移動における多言語文書AIモデルの限界が示された。
  論文  参考訳（メタデータ） (2023-10-25T04:35:06Z)
• Multi3WOZ: A Multilingual, Multi-Domain, Multi-Parallel Dataset for Training and Evaluating Culturally Adapted Task-Oriented Dialog Systems [64.40789703661987]
  Multi3WOZは、新しいマルチ言語、マルチドメイン、マルチ並列ToDデータセットである。 大規模で、4つの言語で文化的に適応したダイアログを提供する。 最終データセットを生成する複雑なボトムアップデータ収集プロセスについて述べる。
  論文  参考訳（メタデータ） (2023-07-26T08:29:42Z)
• Transfer-Free Data-Efficient Multilingual Slot Labeling [82.02076369811402]
  スロットラベリングはタスク指向対話(ToD)システムの中核的なコンポーネントである。 固有データ不足の問題を緩和するために、多言語ToDに関する現在の研究は、十分な英語の注釈付きデータが常に利用可能であると仮定している。 標準的な多言語文エンコーダを効果的なスロットラベリングに変換する2段階のスロットラベリング手法(TWOSL)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T22:47:32Z)
• Soft Prompt Decoding for Multilingual Dense Retrieval [30.766917713997355]
  本稿では,MLIRタスクへの言語間情報検索のための最先端手法の適用により,準最適性能が得られることを示す。 これは多言語コレクションの不均一性と不均衡性に起因する。 KD-SPDはMLIRの新しいソフトプロンプトデコーディング手法で、異なる言語における文書の表現を同じ埋め込み空間に暗黙的に「翻訳」する。
  論文  参考訳（メタデータ） (2023-05-15T21:17:17Z)
• A General-Purpose Multilingual Document Encoder [9.868221447090855]
  階層トランスモデル(HMDE)として多言語文書エンコーダを事前訓練する。 トレーニングデータを作成するために、ウィキペディアを同等のドキュメントのソースとして利用しています。 言語間文書レベルのタスクにおいて,HMDEの有効性について検討した。
  論文  参考訳（メタデータ） (2023-05-11T17:55:45Z)
• Multi2WOZ: A Robust Multilingual Dataset and Conversational Pretraining for Task-Oriented Dialog [67.20796950016735]
  Multi2WOZデータセットは、中国語、ドイツ語、アラビア語、ロシア語の4つの言語にまたがる。 本稿では,任意の下流TODタスクに対する言語間移動を容易にすることを目的とした,事前学習言語モデル(PrLM)の多言語会話特化のための新しいフレームワークを提案する。 実験の結果,目標言語における(I)会話の特殊化と,(II)具体的なTODタスクのための少数ショット転送の組み合わせが,ほとんどの場合,最高の性能を示すことがわかった。
  論文  参考訳（メタデータ） (2022-05-20T18:35:38Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies [0.0]
  本稿では,並列あるいは同等のコーパスを必要としない教師なし文書類似性アルゴリズムを提案する。 このアルゴリズムは、文書から自動的に作成されたトピックを多言語ラベルでアノテートします。 JCR-Acquis corporaの英語、スペイン語、フランス語版で実施された実験は、同様のコンテンツによる文書の分類と分類に関する有望な結果を明らかにします。
  論文  参考訳（メタデータ） (2020-12-15T10:42:40Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance [8.395430195053061]
  ドキュメントアライメントは、互いに同等のコンテンツや翻訳を持つ2つの異なる言語で文書のペアを特定することを目的としている。 言語間文の埋め込みを利用した教師なしスコアリング機能を開発し、異なる言語の文書間の意味的距離を計算する。 これらのセマンティック距離は、文書アライメントアルゴリズムを誘導して、低言語、中言語、高リソースの様々なペアで言語間ウェブ文書を適切にペアリングする。
  論文  参考訳（メタデータ） (2020-01-31T05:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。