論文の概要: Smart Bilingual Focused Crawling of Parallel Documents

• arxiv url: http://arxiv.org/abs/2405.14779v1
• Date: Thu, 23 May 2024 16:45:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 13:46:53.707514
• Title: Smart Bilingual Focused Crawling of Parallel Documents
• Title（参考訳）: スマートバイリンガルに着目した並列文書のクローリング
• Authors: Cristian García-Romero, Miquel Esplà-Gomis, Felipe Sánchez-Martínez,
• Abstract要約: 本稿では,より並列なコンテンツを見つけるためのスマートクローリング手法を提案する。 あるモデルは言語URLを推論し、別のモデルはURLのペアが並列文書を生成するかどうかを推測する。 その結果,両モデルの有効性が示された。
• 参考スコア（独自算出の注目度）: 2.0273853437794584
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Crawling parallel texts $\unicode{x2014}$texts that are mutual translations$\unicode{x2014}$ from the Internet is usually done following a brute-force approach: documents are massively downloaded in an unguided process, and only a fraction of them end up leading to actual parallel content. In this work we propose a smart crawling method that guides the crawl towards finding parallel content more rapidly. Our approach builds on two different models: one that infers the language of a document from its URL, and another that infers whether a pair of URLs link to parallel documents. We evaluate both models in isolation and their integration into a crawling tool. The results demonstrate the individual effectiveness of both models and highlight that their combination enables the early discovery of parallel content during crawling, leading to a reduction in the amount of downloaded documents deemed useless, and yielding a greater quantity of parallel documents compared to conventional crawling approaches.
• Abstract（参考訳）: 並列テキストをcrawling parallel texts $\unicode{x2014}$texts that are mutual translations$\unicode{x2014}$ from the Internet 通常、ブルートフォースのアプローチに従って行われる。 本研究では,より高速な並列コンテンツ発見に向けて,クローリングを誘導するスマートクローリング手法を提案する。 このアプローチは、URLからドキュメントの言語を推論するモデルと、URLのペアがパラレルドキュメントにリンクするかどうかを推論するモデルに基づいています。 両方のモデルを分離して評価し、クローリングツールに統合する。 その結果、両モデルの個人的有効性を示し、それらの組み合わせにより、クローリング中に並列コンテンツの早期発見が可能であり、ダウンロードされたドキュメントの量を無駄とみなすことができ、従来のクローリング手法と比較して、大量の並列ドキュメントが得られることがわかった。

関連論文リスト

• Unified Multi-Modal Interleaved Document Representation for Information Retrieval [57.65409208879344]
  我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• In-context Pretraining: Language Modeling Beyond Document Boundaries [137.53145699439898]
  In-Context Pretrainingは、言語モデルが関連するドキュメントのシーケンスで事前トレーニングされる新しいアプローチである。 本稿では, 近接探索を効率的に行うための近似アルゴリズムを提案する。 より複雑なコンテキスト推論を必要とするタスクの顕著な改善が見られます。
  論文  参考訳（メタデータ） (2023-10-16T17:57:12Z)
• CCpdf: Building a High Quality Corpus for Visually Rich Documents from Web Crawl Data [2.7843134136364265]
  本稿では,Common Crawl を用いて,インターネット全体から大規模で多言語なPDFファイルのコーパスを作成するための効率的なパイプラインを提案する。 また、CCpdfコーパスをPDFファイルの形式やインデックスで共有し、それらをダウンロードするためのスクリプトを作成し、言語モデルの事前学習に有用なコレクションを生成する。
  論文  参考訳（メタデータ） (2023-04-28T16:12:18Z)
• Exploring Paracrawl for Document-level Neural Machine Translation [21.923881766940088]
  文書レベルのニューラルマシン翻訳(NMT)は、多くのデータセット上で文レベルのNMTよりも優れています。 パラクロールからパラクロールのパラパラパラパラグラフのみを用いて訓練した文書レベルのNMTモデルを実文書の翻訳に利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-20T11:21:34Z)
• Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval [79.37614949970013]
  そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。 本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
  論文  参考訳（メタデータ） (2022-08-08T16:00:55Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• Exploiting Sentence Order in Document Alignment [16.200004651895014]
  本稿では,文順情報を候補生成と候補再描画の両方に組み込んだ簡単な文書アライメント手法を提案する。 提案手法は,WMT16文書アライメント共有タスクの既報結果と比較して,エラーの相対的減少率を61%とした。
  論文  参考訳（メタデータ） (2020-04-30T00:11:34Z)
• Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance [8.395430195053061]
  ドキュメントアライメントは、互いに同等のコンテンツや翻訳を持つ2つの異なる言語で文書のペアを特定することを目的としている。 言語間文の埋め込みを利用した教師なしスコアリング機能を開発し、異なる言語の文書間の意味的距離を計算する。 これらのセマンティック距離は、文書アライメントアルゴリズムを誘導して、低言語、中言語、高リソースの様々なペアで言語間ウェブ文書を適切にペアリングする。
  論文  参考訳（メタデータ） (2020-01-31T05:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。