論文の概要: Fine-tuning the SwissBERT Encoder Model for Embedding Sentences and Documents

• arxiv url: http://arxiv.org/abs/2405.07513v1
• Date: Mon, 13 May 2024 07:20:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 14:34:42.542762
• Title: Fine-tuning the SwissBERT Encoder Model for Embedding Sentences and Documents
• Title（参考訳）: 文と文書の埋め込みのためのSwissBERTエンコーダモデルの微調整
• Authors: Juri Grosjean, Jannis Vamvas,
• Abstract要約: この目的のために特別に微調整したSwissBERTエンコーダモデルを提示する。 スイス40Tには、スイスの4つの国語のための言語アダプタが含まれている。 スイス固有の設定における文書検索とテキスト分類の実験は、SentenceSwissBERTが元のSwissBERTモデルの精度を上回っていることを示している。
• 参考スコア（独自算出の注目度）: 10.819408603463428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Encoder models trained for the embedding of sentences or short documents have proven useful for tasks such as semantic search and topic modeling. In this paper, we present a version of the SwissBERT encoder model that we specifically fine-tuned for this purpose. SwissBERT contains language adapters for the four national languages of Switzerland -- German, French, Italian, and Romansh -- and has been pre-trained on a large number of news articles in those languages. Using contrastive learning based on a subset of these articles, we trained a fine-tuned version, which we call SentenceSwissBERT. Multilingual experiments on document retrieval and text classification in a Switzerland-specific setting show that SentenceSwissBERT surpasses the accuracy of the original SwissBERT model and of a comparable baseline. The model is openly available for research use.
• Abstract（参考訳）: 文や短い文書の埋め込みのために訓練されたエンコーダモデルは、セマンティック検索やトピックモデリングといったタスクに有用であることが証明されている。 本稿では,SwissBERTエンコーダモデルについて述べる。 スイスの4つの国語(ドイツ語、フランス語、イタリア語、ロマンシュ語)の言語アダプタがSwissBERTに含まれており、これらの言語で多くのニュース記事に事前訓練されている。 これらの記事のサブセットに基づいた対照的な学習を使用して、SentenceSwissBERTと呼ばれる微調整バージョンをトレーニングしました。 スイス固有のセッティングにおける文書検索とテキスト分類に関する多言語実験により、SentenceSwissBERTは元のSwissBERTモデルの精度と同等のベースラインの精度を上回っていることが示された。 このモデルは研究用に公開されている。

関連論文リスト

• Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect [52.1701152610258]
  モジュラーエンコーダにスイスドイツ語のアダプタを加えると、完全なモノリシックな適応性能の97.5%が達成される。 標準ドイツ語の問合せを与えられたスイスドイツ語の文を検索する作業において、文字レベルのモデルを適用することは、他の適応戦略よりも効果的である。
  論文  参考訳（メタデータ） (2024-01-25T18:59:32Z)
• Text-to-Speech Pipeline for Swiss German -- A comparison [2.7787719874237986]
  異なるテキスト音声(TTS)モデルを用いて,スイスドイツ語音声の合成について検討した。 その結果、VITSモデルはより優れた性能を示し、さらなるテストに利用した。
  論文  参考訳（メタデータ） (2023-05-31T11:33:18Z)
• SwissBERT: The Multilingual Language Model for Switzerland [52.1701152610258]
  SwissBERTは、スイス関連のテキストを処理するために特別に作られたマスク付き言語モデルである。 SwissBERTはトレーニング済みのモデルで、スイスの国語で書かれたニュース記事に適用しました。 スイスバーティ語は言語アダプターを使用しているため、将来の研究でスイスドイツ語の方言に拡張される可能性がある。
  論文  参考訳（メタデータ） (2023-03-23T14:44:47Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Scribosermo: Fast Speech-to-Text models for German and other Languages [69.7571480246023]
  本稿では,ドイツ語とスペイン語とフランス語の特殊特徴を持つ音声テキストモデルについて述べる。 それらは小さく、RaspberryPiのようなマイクロコントローラ上でリアルタイムで実行される。 事前トレーニングされた英語モデルを使用して、比較的小さなデータセットで、コンシューマグレードのハードウェアでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-15T10:10:34Z)
• SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German [22.30271453485001]
  我々は8つの主要な方言にまたがるスイス系ドイツ語の最初の注釈付き並列コーパスと標準ドイツ語の参照を紹介する。 私たちの目標は、スイスドイツ語でデータ駆動nlpアプリケーションを使用するための基本的なデータセットを作成し、利用可能にすることです。
  論文  参考訳（メタデータ） (2021-03-21T14:00:09Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• Playing with Words at the National Library of Sweden -- Making a Swedish BERT [0.0]
  本稿では,スウェーデン国立図書館(KB)のデータ駆動研究のためにKBLabが開発したスウェーデンのBERT(KB-BERT)を紹介する。 スウェーデン語以外の言語のためのトランスフォーマーベースのBERTモデルを作成するための最近の取り組みに基づいて、KBのコレクションを使用して、スウェーデン語向けの新しい言語固有のBERTモデルを作成およびトレーニングする方法を説明します。
  論文  参考訳（メタデータ） (2020-07-03T12:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。