論文の概要: DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew

• arxiv url: http://arxiv.org/abs/2308.16687v2
• Date: Fri, 13 Oct 2023 13:56:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 17:15:51.156005
• Title: DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew
• Title（参考訳）: DictaBERT:現代ヘブライ語のための最先端のBERTスイート
• Authors: Shaltiel Shmidman, Avi Shmidman, Moshe Koppel
• Abstract要約: DictaBERTは、現代ヘブライ語のための最先端のトレーニング済みBERTモデルである。 ヘブライ語テキストの分析において,3つの基礎的なタスクを実行するために設計した3つの細調整バージョンをリリースする。
• 参考スコア（独自算出の注目度）: 2.421705925711388
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present DictaBERT, a new state-of-the-art pre-trained BERT model for modern Hebrew, outperforming existing models on most benchmarks. Additionally, we release three fine-tuned versions of the model, designed to perform three specific foundational tasks in the analysis of Hebrew texts: prefix segmentation, morphological tagging and question answering. These fine-tuned models allow any developer to perform prefix segmentation, morphological tagging and question answering of a Hebrew input with a single call to a HuggingFace model, without the need to integrate any additional libraries or code. In this paper we describe the details of the training as well and the results on the different benchmarks. We release the models to the community, along with sample code demonstrating their use. We release these models as part of our goal to help further research and development in Hebrew NLP.
• Abstract（参考訳）: DictaBERTは、最新のヘブライ語のための最先端の事前訓練されたBERTモデルであり、ほとんどのベンチマークで既存のモデルよりも優れています。 さらに, ヘブライ語文の分析において, 3つの基礎的タスク, 接頭辞のセグメンテーション, 形態的タグ付け, 質問応答を行うために, モデルを微調整した3つのバージョンをリリースする。 これらの微調整されたモデルは、任意の開発者が追加のライブラリやコードを統合することなく、HuggingFaceモデルへの単一の呼び出しでヘブライ語入力のプレフィックスセグメンテーション、形態的タグ付け、質問応答を実行することができる。 本稿では、トレーニングの詳細と、異なるベンチマークの結果について述べる。 モデルをコミュニティにリリースし、その使用例をサンプルコードで示しています。 ヘブライNLPのさらなる研究と開発を支援することを目的として,これらのモデルをリリースする。

関連論文リスト

• Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research [139.69207791947738]
  ドルマ (Dolma) は、ウェブコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多用した3トリルの英語コーパスである。 我々はDolmaの設計原則、その構築の詳細、内容の要約を含む、Dolmaを文書化します。 我々は、重要なデータキュレーションの実践について学んだことを共有するために、Dolmaの中間状態の分析と実験結果を示す。
  論文  参考訳（メタデータ） (2024-01-31T20:29:50Z)
• Introducing DictaLM -- A Large Generative Language Model for Modern Hebrew [2.1547347528250875]
  現代ヘブライ語に合わせた大規模言語モデルであるDictaLMについて紹介する。 ヘブライ語における研究・開発促進の取り組みとして,創造コモンズライセンスの下で基礎モデルと教科モデルの両方をリリースする。
  論文  参考訳（メタデータ） (2023-09-25T22:42:09Z)
• Data-Efficient French Language Modeling with CamemBERTa [0.0]
  本稿では,DeBERTaV3アーキテクチャとトレーニング目標に基づいて構築された,フランスのDeBERTaモデルであるCamemBERTaを紹介する。 我々は、さまざまなフランス語の下流タスクとデータセットに対して、我々のモデルの性能を評価する。
  論文  参考訳（メタデータ） (2023-06-02T12:45:34Z)
• Large Pre-Trained Models with Extra-Large Vocabularies: A Contrastive Analysis of Hebrew BERT Models and a New One to Outperform Them All [8.964815786230686]
  AlephBERTGimmelとよばれる現代ヘブライ語のための新しい事前学習言語モデル(PLM)を提案する。 我々は,従来のヘブライ語 PLM (mBERT, heBERT, AlephBERT) に対して,このモデルを対照的に解析し,より大きな語彙がタスク性能に与える影響を評価する。 実験の結果、より大きな語彙は分割を減らし、分割を減らすことは、異なるタスクをまたいだモデルの性能向上に有効であることがわかった。
  論文  参考訳（メタデータ） (2022-11-28T10:17:35Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.09419317477986]
  Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。 このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。 パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bである。
  論文  参考訳（メタデータ） (2022-08-21T01:00:54Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• AlephBERT:A Hebrew Large Pre-Trained Language Model to Start-off your Hebrew NLP Application With [7.345047237652976]
  大規模プリトレーニング言語モデル(PLM)は、言語理解技術の発展においてユビキタスになっています。 PLMを用いた英語の進歩は前例がないが、ヘブライ語でのPLMの使用の進展は少ない。
  論文  参考訳（メタデータ） (2021-04-08T20:51:29Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。