論文の概要: Language-Agnostic Website Embedding and Classification

• arxiv url: http://arxiv.org/abs/2201.03677v1
• Date: Mon, 10 Jan 2022 22:31:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 13:25:51.646793
• Title: Language-Agnostic Website Embedding and Classification
• Title（参考訳）: 言語に依存しないウェブサイトの埋め込みと分類
• Authors: Sylvain Lugeon, Tiziano Piccardi, Robert West
• Abstract要約: 92言語で100万以上のWebサイトを持つデータセットをリリースし、Curlieから相対ラベルを収集しました。 ホームページに基づいてWebサイトを分類・埋め込みするマシン学習モデルであるHomepage2Vecを紹介する。 ホームページ2Vecは、マクロ平均F1スコア0.90のWebサイトを正しく分類し、低および高ソース言語で安定したパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 12.86558129722198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, publicly available models for website classification do not offer an embedding method and have limited support for languages beyond English. We release a dataset with more than 1M websites in 92 languages with relative labels collected from Curlie, the largest multilingual crowdsourced Web directory. The dataset contains 14 website categories aligned across languages. Alongside it, we introduce Homepage2Vec, a machine-learned pre-trained model for classifying and embedding websites based on their homepage in a language-agnostic way. Homepage2Vec, thanks to its feature set (textual content, metadata tags, and visual attributes) and recent progress in natural language representation, is language-independent by design and can generate embeddings representation. We show that Homepage2Vec correctly classifies websites with a macro-averaged F1-score of 0.90, with stable performance across low- as well as high-resource languages. Feature analysis shows that a small subset of efficiently computable features suffices to achieve high performance even with limited computational resources. We make publicly available the curated Curlie dataset aligned across languages, the pre-trained Homepage2Vec model, and libraries.
• Abstract（参考訳）: 現在、ウェブサイト分類の公開モデルは埋め込みメソッドを提供しておらず、英語以外の言語のサポートは限られている。 92言語で100万以上のWebサイトを持つデータセットを公開し、Curlieの相対ラベルを収集した。 データセットには、言語にまたがる14のwebサイトカテゴリが含まれている。 それと並行して,webサイトを言語非依存の方法で分類し,埋め込みするための,機械学習による事前学習モデルであるgrandline2vecも紹介する。 Homepage2Vecはその機能セット(テキストコンテンツ、メタデータタグ、ビジュアル属性)と最近の自然言語表現の進歩のおかげで、デザインによって言語に依存しず、埋め込み表現を生成することができる。 ホームページ2Vecは、マクロ平均F1スコア0.90のウェブサイトを正しく分類し、低および高ソース言語で安定したパフォーマンスを示す。 特徴分析により、効率的な計算可能な小さなサブセットは、限られた計算資源でも高い性能を達成するのに十分であることが示されている。 言語間で整列されたキュレートされたCurlieデータセット、事前トレーニングされたHomepage2Vecモデル、ライブラリを公開しています。

関連論文リスト

• Untangling the Unrestricted Web: Automatic Identification of Multilingual Registers [1.1456104143595247]
  本稿では16言語にわたるWebベースのデータセットにおけるレジスタの自動識別のためのディープラーニングモデルについて検討する。 多言語モデルは単言語モデルより一貫して優れており、特に訓練例が少なく、レジスタが小さい言語に有利であることを示す。
  論文  参考訳（メタデータ） (2024-06-28T13:00:30Z)
• A New Massive Multilingual Dataset for High-Performance Language Technologies [14.375854322321997]
  HPLT言語リソースは、モノリンガルとバイリンガルのコーパスを含む、新しい大規模多言語データセットである。 我々のモノリンガルコレクションは、低から中程度の言語に焦点を合わせ、75言語をカバーし、合計5.6兆のワードトークンがドキュメントレベルで重複している。 私たちの英語中心のパラレルコーパスは、単言語対から派生したもので、18の言語対と、約140億の英語トークンを持つ96万の整列文対をカバーしています。
  論文  参考訳（メタデータ） (2024-03-20T22:14:39Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• The Tatoeba Translation Challenge -- Realistic Data Sets for Low Resource and Multilingual MT [0.0]
  本稿では,何千もの言語ペアに対するトレーニングとテストデータを提供する機械翻訳のための新しいベンチマークの開発について述べる。 主な目標は、世界言語をより広範囲にカバーしたオープン翻訳ツールとモデルの開発をトリガーすることである。
  論文  参考訳（メタデータ） (2020-10-13T13:12:21Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
  Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。 各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。 言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
  論文  参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。