論文の概要: On the Impact of Cross-Domain Data on German Language Models

• arxiv url: http://arxiv.org/abs/2310.07321v2
• Date: Fri, 13 Oct 2023 14:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 16:24:34.862374
• Title: On the Impact of Cross-Domain Data on German Language Models
• Title（参考訳）: 言語モデルにおけるクロスドメインデータの影響について
• Authors: Amin Dada, Aokun Chen, Cheng Peng, Kaleb E Smith, Ahmad Idrissi-Yaghir, Constantin Marc Seibold, Jianning Li, Lars Heiliger, Xi Yang, Christoph M. Friedrich, Daniel Truhn, Jan Egger, Jiang Bian, Jens Kleesiek, Yonghui Wu
• Abstract要約: 高品質なデータを含むことを目的とした別のデータセットとともに、5つのドメインのテキストからなるドイツのデータセットを提案する。 両方のデータセット上で122Mから750Mパラメータの一連のモデルをトレーニングすることにより、複数の下流タスクに関する包括的なベンチマークを行う。 この結果から、クロスドメインデータセットでトレーニングされたモデルは、品質データだけでトレーニングされたモデルよりも優れており、前回の最先端データよりも最大4.45%の改善が達成された。
• 参考スコア（独自算出の注目度）: 20.758967185444416
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Traditionally, large language models have been either trained on general web crawls or domain-specific data. However, recent successes of generative large language models, have shed light on the benefits of cross-domain datasets. To examine the significance of prioritizing data diversity over quality, we present a German dataset comprising texts from five domains, along with another dataset aimed at containing high-quality data. Through training a series of models ranging between 122M and 750M parameters on both datasets, we conduct a comprehensive benchmark on multiple downstream tasks. Our findings demonstrate that the models trained on the cross-domain dataset outperform those trained on quality data alone, leading to improvements up to $4.45\%$ over the previous state-of-the-art. The models are available at https://huggingface.co/ikim-uk-essen
• Abstract（参考訳）: 伝統的に、大きな言語モデルは一般的なウェブクロールまたはドメイン固有のデータで訓練されてきた。 しかし、生成可能な大規模言語モデルの最近の成功は、クロスドメインデータセットの利点に光を当てている。 品質よりもデータの多様性を優先する意義を検討するために,5つのドメインのテキストからなるドイツのデータセットと,高品質なデータを含むもう1つのデータセットを提案する。 両データセットの122Mから750Mパラメータの一連のモデルをトレーニングすることにより、複数の下流タスクに関する包括的なベンチマークを行う。 クロスドメインデータセットでトレーニングされたモデルは、品質データだけでトレーニングされたモデルよりも優れており、これまでの最新データよりも最大4.45\%改善されていることが分かりました。 モデルはhttps://huggingface.co/ikim-uk-essenで入手できる。

関連論文リスト

• Target-Aware Language Modeling via Granular Data Sampling [25.957424920194914]
  言語モデルの事前訓練は、一般的に幅広いユースケースをターゲットにし、多様なソースからのデータを取り込む。 コスト効率が高く簡単なアプローチは、低次元のデータ特徴をサンプリングすることである。 事前学習したモデルはRefinedWebの全データと同等に動作し、125Mから1.5Bまでのモデルサイズに対してランダムに選択されたサンプルより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-23T04:52:17Z)
• Leveraging Web-Crawled Data for High-Quality Fine-Tuning [24.19939701706869]
  我々は、GPT-4のような先進的なモデルに頼ることなく、高品質な教師付き微調整のための貴重な情報源として、Webcrawled Dataが有効であると主張している。 我々は、Webcrawledデータをより小さな高品質なデータ集合と整列させることで、ペア化されたトレーニングデータセットを自動生成する。 実験の結果, モデル変換データを用いた学習は, 中国における数学問題の平均スコア9.4%で, 高品質なデータのみによるトレーニングを上回り, より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T08:12:52Z)
• A synthetic data approach for domain generalization of NLI models [13.840374911669167]
  自然言語推論(NLI)はLLMにとって重要なベンチマークタスクである。 合成された高品質データセットは、下流アプリケーションでゼロショット使用にNLIモデルを適用することができることを示す。 我々は、このデータに基づいてトレーニングされたモデルが、完全に下流のテスト設定に最適な一般化があることを示します。
  論文  参考訳（メタデータ） (2024-02-19T18:55:16Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• A Data-centric Framework for Improving Domain-specific Machine Reading Comprehension Datasets [5.673449249014538]
  低品質のデータは、高スループットアプリケーションで下流の問題を引き起こす可能性がある。 データ中心のアプローチでは、データセットの品質向上とモデルパフォーマンスの向上が重視される。
  論文  参考訳（メタデータ） (2023-04-02T08:26:38Z)
• Efficient Domain Adaptation of Language Models via Adaptive Tokenization [5.058301279065432]
  ドメイン固有のサブワードシーケンスは,ベースおよびドメイン固有のコーパスの条件付きトークン分布の分岐から,直接的に決定可能であることを示す。 我々の手法は、トークン化器の強化を用いた他の手法よりも、より小さなモデルで、トレーニングや推論の時間が少なくなります。
  論文  参考訳（メタデータ） (2021-09-15T17:51:27Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)
• $n$-Reference Transfer Learning for Saliency Prediction [73.17061116358036]
  本稿では,サリエンシ予測のための数発のトランスファー学習パラダイムを提案する。 提案するフレームワークは勾配ベースでモデルに依存しない。 その結果,提案フレームワークは大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-07-09T23:20:44Z)
• Neural Data Server: A Large-Scale Search Engine for Transfer Learning Data [78.74367441804183]
  我々は,ターゲットドメインに最も有用な転送学習データを見つけるための大規模検索エンジンであるNeural Data Server (NDS)を紹介した。 NDSは、いくつかの人気のある画像データセットをインデックスするデータサーバで構成され、クライアントにデータを推奨することを目的としている。 我々は,NDSが様々な伝達学習シナリオにおいて有効であることを示し,複数のターゲットデータセットに対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-01-09T01:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。