論文の概要: Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies

• arxiv url: http://arxiv.org/abs/2101.03026v1
• Date: Tue, 15 Dec 2020 10:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 07:17:28.268989
• Title: Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
• Title（参考訳）: 言語固有の概念階層によるスケーラブルな言語間文書類似性
• Authors: Carlos Badenes-Olmedo, Jose-Luis Redondo Garc\'ia, Oscar Corcho
• Abstract要約: 本稿では,並列あるいは同等のコーパスを必要としない教師なし文書類似性アルゴリズムを提案する。 このアルゴリズムは、文書から自動的に作成されたトピックを多言語ラベルでアノテートします。 JCR-Acquis corporaの英語、スペイン語、フランス語版で実施された実験は、同様のコンテンツによる文書の分類と分類に関する有望な結果を明らかにします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the ongoing growth in number of digital articles in a wider set of languages and the expanding use of different languages, we need annotation methods that enable browsing multi-lingual corpora. Multilingual probabilistic topic models have recently emerged as a group of semi-supervised machine learning models that can be used to perform thematic explorations on collections of texts in multiple languages. However, these approaches require theme-aligned training data to create a language-independent space. This constraint limits the amount of scenarios that this technique can offer solutions to train and makes it difficult to scale up to situations where a huge collection of multi-lingual documents are required during the training phase. This paper presents an unsupervised document similarity algorithm that does not require parallel or comparable corpora, or any other type of translation resource. The algorithm annotates topics automatically created from documents in a single language with cross-lingual labels and describes documents by hierarchies of multi-lingual concepts from independently-trained models. Experiments performed on the English, Spanish and French editions of JCR-Acquis corpora reveal promising results on classifying and sorting documents by similar content.
• Abstract（参考訳）: 幅広い言語におけるデジタル記事数の増加と異なる言語の利用の拡大に伴い、多言語コーパスの閲覧を可能にするアノテーションメソッドが求められている。 多言語確率的トピックモデルは、最近、複数の言語のテキストの集合に関するテーマ探索に使用できる半教師付き機械学習モデルのグループとして登場した。 しかし、これらのアプローチは言語に依存しない空間を作るためにテーマに沿ったトレーニングデータを必要とする。 この制約は、このテクニックがトレーニングのソリューションを提供するシナリオの量を制限し、トレーニングフェーズ中に大量の多言語文書の収集が必要な状況にスケールアップすることを困難にします。 本稿では,並列あるいは同等のコーパスや他の種類の翻訳リソースを必要としない教師なし文書類似性アルゴリズムを提案する。 このアルゴリズムは、言語横断ラベルを持つ単一の言語で文書から生成されたトピックをアノテートし、独立に訓練されたモデルから多言語の概念の階層によって文書を記述する。 jcr-acquis corporaの英語版、スペイン語版、フランス語版で行った実験は、同様の内容の文書の分類と分類に関する有望な結果を示している。

関連論文リスト

• Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
  我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。 我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。 多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
  論文  参考訳（メタデータ） (2024-09-10T14:58:55Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• PARAGRAPH2GRAPH: A GNN-based framework for layout paragraph analysis [6.155943751502232]
  本稿では,言語に依存しないグラフニューラルネットワーク(GNN)モデルを提案する。 我々のモデルは産業アプリケーション、特に多言語シナリオに適しています。
  論文  参考訳（メタデータ） (2023-04-24T03:54:48Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models [107.83158521848372]
  我々は,従来のモノリンガルおよびバイリンガルの目的を,グラフト法と呼ばれる新しい手法で三言語的目的に加速する分野において,最初のテキストbfTriangular Document-level textbfPre-training(textbfTRIP)を提案する。 TRIPは、3つの多言語文書レベルの機械翻訳ベンチマークと1つの言語間抽象的な要約ベンチマークで、最大3.11d-BLEU点と8.9ROUGE-L点の一貫性のある改善を含む、強力なSOTAスコアを達成している。
  論文  参考訳（メタデータ） (2022-12-15T12:14:25Z)
• Models and Datasets for Cross-Lingual Summarisation [78.56238251185214]
  対象言語における多文要約に関連付けられたソース言語において,長い文書を含む言語間要約コーパスを提案する。 コーパスは、チェコ語、英語、フランス語、ドイツ語の4つの言語について、12の言語対と指示をカバーしている。 言語対応のウィキペディアのタイトルから、主節と記事の本体を組み合わせることで、ウィキペディアから言語横断的な文書要約インスタンスを導出する。
  論文  参考訳（メタデータ） (2022-02-19T11:55:40Z)
• A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification [16.684856745734944]
  ゼロショット言語間テキスト分類の性能を向上する多言語バッグ・オブ・エンティリティモデルを提案する。 同じ概念を表す複数の言語のエンティティは、ユニークな識別子で定義される。 したがって、リソース豊富な言語のエンティティ機能に基づいて訓練されたモデルは、他の言語に直接適用することができる。
  論文  参考訳（メタデータ） (2021-10-15T01:10:50Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
  Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。 各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。 言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
  論文  参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。