論文の概要: A Data-centric Framework for Improving Domain-specific Machine Reading Comprehension Datasets

• arxiv url: http://arxiv.org/abs/2304.00483v1
• Date: Sun, 2 Apr 2023 08:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 17:48:38.901972
• Title: A Data-centric Framework for Improving Domain-specific Machine Reading Comprehension Datasets
• Title（参考訳）: ドメイン固有機械読解データセット改善のためのデータ中心フレームワーク
• Authors: Iva Bojic, Josef Halim, Verena Suharman, Sreeja Tar, Qi Chwen Ong, Duy Phung, Mathieu Ravaut, Shafiq Joty, Josip Car
• Abstract要約: 低品質のデータは、高スループットアプリケーションで下流の問題を引き起こす可能性がある。 データ中心のアプローチでは、データセットの品質向上とモデルパフォーマンスの向上が重視される。
• 参考スコア（独自算出の注目度）: 5.673449249014538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-quality data can cause downstream problems in high-stakes applications. Data-centric approach emphasizes on improving dataset quality to enhance model performance. High-quality datasets are needed for general-purpose Large Language Models (LLMs) training, as well as for domain-specific models, which are usually small in size as it is costly to engage a large number of domain experts for their creation. Thus, it is vital to ensure high-quality domain-specific training data. In this paper, we propose a framework for enhancing the data quality of original datasets. We applied the proposed framework to four biomedical datasets and showed relative improvement of up to 33%/40% for fine-tuning of retrieval/reader models on the BioASQ dataset when using back translation to enhance the original dataset quality.
• Abstract（参考訳）: 低品質のデータは、高スループットアプリケーションで下流の問題を引き起こす可能性がある。 データ中心のアプローチでは、データセットの品質向上とモデルパフォーマンスの向上が重視される。 汎用の大規模言語モデル(llm)トレーニングやドメイン固有のモデルには、高品質なデータセットが必要です。 したがって、高品質なドメイン固有のトレーニングデータを確保することが不可欠である。 本稿では,オリジナルデータセットのデータ品質向上のためのフレームワークを提案する。 提案手法を4つのバイオメディカルデータセットに適用し,BioASQデータセット上での検索/読み出しモデルの微調整において,元のデータセット品質を向上させるためにバック翻訳を用いた場合,最大33%/40%の改善を示した。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Training Data for Large Language Model [2.1178416840822027]
  ChatGPTは、事前学習コーパスのパラメータとスケールの点で、以前のモデルを上回った。 ChatGPTは、大量の高品質な人間注釈付きデータを微調整することで、革命的なパフォーマンス向上を実現した。 本稿では,大規模言語モデルの事前学習と微調整の現状を概説する。
  論文  参考訳（メタデータ） (2024-11-12T11:09:58Z)
• Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
  SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。 SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
  論文  参考訳（メタデータ） (2024-10-24T10:47:30Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Leveraging Web-Crawled Data for High-Quality Fine-Tuning [24.19939701706869]
  我々は、GPT-4のような先進的なモデルに頼ることなく、高品質な教師付き微調整のための貴重な情報源として、Webcrawled Dataが有効であると主張している。 我々は、Webcrawledデータをより小さな高品質なデータ集合と整列させることで、ペア化されたトレーニングデータセットを自動生成する。 実験の結果, モデル変換データを用いた学習は, 中国における数学問題の平均スコア9.4%で, 高品質なデータのみによるトレーニングを上回り, より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T08:12:52Z)
• Dataset Regeneration for Sequential Recommendation [69.93516846106701]
  DR4SRと呼ばれるモデルに依存しないデータセット再生フレームワークを用いて、理想的なトレーニングデータセットを開発するためのデータ中心のパラダイムを提案する。 データ中心のパラダイムの有効性を示すために、我々はフレームワークを様々なモデル中心の手法と統合し、4つの広く採用されているデータセット間で大きなパフォーマンス改善を観察する。
  論文  参考訳（メタデータ） (2024-05-28T03:45:34Z)
• Enhancing Data Quality in Federated Fine-Tuning of Foundation Models [54.757324343062734]
  本稿では,基礎モデルのファインチューニングのためのデータ品質制御パイプラインを提案する。 このパイプラインは、トレーニングデータの質を反映したスコアを計算し、統一された標準のグローバルしきい値を決定する。 実験の結果,提案した品質制御パイプラインはモデルトレーニングの有効性と信頼性を向上し,性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-03-07T14:28:04Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• On the Impact of Cross-Domain Data on German Language Models [20.758967185444416]
  高品質なデータを含むことを目的とした別のデータセットとともに、5つのドメインのテキストからなるドイツのデータセットを提案する。 両方のデータセット上で122Mから750Mパラメータの一連のモデルをトレーニングすることにより、複数の下流タスクに関する包括的なベンチマークを行う。 この結果から、クロスドメインデータセットでトレーニングされたモデルは、品質データだけでトレーニングされたモデルよりも優れており、前回の最先端データよりも最大4.45%の改善が達成された。
  論文  参考訳（メタデータ） (2023-10-11T09:09:55Z)
• Assessing Dataset Quality Through Decision Tree Characteristics in Autoencoder-Processed Spaces [0.30458514384586394]
  データセットの品質がモデルトレーニングとパフォーマンスに深く影響していることを示します。 以上の結果から,適切な特徴選択,適切なデータボリューム,データ品質の重要性が浮き彫りになった。 この研究は、データアセスメントのプラクティスに関する貴重な洞察を提供し、より正確で堅牢な機械学習モデルの開発に寄与する。
  論文  参考訳（メタデータ） (2023-06-27T11:33:31Z)
• A Proposal to Study "Is High Quality Data All We Need?" [8.122270502556374]
  本稿では,高品質なベンチマークデータのサブセットの選択方法,および/または生成方法を検討するための実証的研究を提案する。 私たちは、タスクを学ぶために大きなデータセットが本当に必要かどうか、そして、高品質なデータの小さなサブセットが大きなデータセットを置き換えることができるかどうかに答えようとしています。
  論文  参考訳（メタデータ） (2022-03-12T10:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。