論文の概要: Data Proportion Detection for Optimized Data Management for Large Language Models

• arxiv url: http://arxiv.org/abs/2409.17527v1
• Date: Thu, 26 Sep 2024 04:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 23:06:47.829837
• Title: Data Proportion Detection for Optimized Data Management for Large Language Models
• Title（参考訳）: 大規模言語モデルのための最適データ管理のためのデータプロポーション検出
• Authors: Hao Liang, Keshi Zhao, Yajie Yang, Bin Cui, Guosheng Dong, Zenan Zhou, Wentao Zhang,
• Abstract要約: 我々は,事前学習データの割合の自動推定を可能にする新しいトピック,textitdata proportion Detectionを導入する。 データ比例検出のための厳密な理論的証明、実用的なアルゴリズム、予備実験結果を提供する。
• 参考スコア（独自算出の注目度）: 32.62631669919273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated exceptional performance across a wide range of tasks and domains, with data preparation playing a critical role in achieving these results. Pre-training data typically combines information from multiple domains. To maximize performance when integrating data from various domains, determining the optimal data proportion is essential. However, state-of-the-art (SOTA) LLMs rarely disclose details about their pre-training data, making it difficult for researchers to identify ideal data proportions. In this paper, we introduce a new topic, \textit{data proportion detection}, which enables the automatic estimation of pre-training data proportions by analyzing the generated outputs of LLMs. We provide rigorous theoretical proofs, practical algorithms, and preliminary experimental results for data proportion detection. Based on these findings, we offer valuable insights into the challenges and future directions for effective data proportion detection and data management.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクや領域で例外的な性能を示し、データ準備はこれらの結果を達成する上で重要な役割を担っている。 事前学習データは通常、複数のドメインの情報を組み合わせる。 各種領域からのデータを統合する際の性能を最大化するためには、最適なデータ比率を決定することが不可欠である。 しかし、SOTA (State-of-the-art) LLMはトレーニング前のデータの詳細を明らかにすることは滅多になく、研究者が理想的なデータの割合を特定することは困難である。 本稿では,LLMの生成した出力を分析して,事前学習データの割合の自動推定を可能にする,新しいトピックである‘textit{data proportion Detection’を紹介する。 データ比例検出のための厳密な理論的証明、実用的なアルゴリズム、予備実験結果を提供する。 これらの知見に基づき、効率的なデータ比例検出とデータ管理のための課題と今後の方向性について貴重な知見を提供する。

関連論文リスト

• Towards Data-Efficient Pretraining for Atomic Property Prediction [51.660835328611626]
  タスク関連データセットでの事前トレーニングは、大規模な事前トレーニングと一致するか、あるいは超える可能性があることを示す。 本稿では,コンピュータビジョンのFr'echet Inception Distanceにインスパイアされた,化学類似度指数(CSI)を紹介する。
  論文  参考訳（メタデータ） (2025-02-16T11:46:23Z)
• Are Large Language Models Useful for Time Series Data Analysis? [3.44393516559102]
  時系列データは、医療、エネルギー、金融といった様々な分野において重要な役割を果たす。 本研究では,大規模言語モデル(LLM)が時系列データ解析に有効かどうかを検討する。
  論文  参考訳（メタデータ） (2024-12-16T02:47:44Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems [10.71630696651595]
  知識集約的なタスクを達成するエージェントとしてLLMを使用する複合AIシステム(CAS)は、データベースやAIコミュニティにおいて大きな関心を集めている。 マルチモーダルデータソースのサイロは、そのタスクを達成するための適切なデータソースを特定するのを困難にしている。 我々はエンタープライズデータプラットフォームの複雑さをモデル化したベンチマークであるCMDBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-02T01:10:41Z)
• SHED: Shapley-Based Automated Dataset Refinement for Instruction Fine-Tuning [16.307467144690683]
  大規模な言語モデルは、少量の高品質なデータだけで望ましいパフォーマンスを達成することができる。 大規模なデータセットから高品質なデータを識別して、小さいが効果的なデータセットをキュレートすることが、重要な課題である。 本稿では,Shapley値に基づく自動データセット精錬フレームワークSHEDを紹介する。
  論文  参考訳（メタデータ） (2024-04-23T04:56:48Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Data Management For Training Large Language Models: A Survey [64.18200694790787]
  大規模言語モデル(LLM)のトレーニングにおいて、データは基本的な役割を果たす 本調査は,LLMの事前学習および微調整段階におけるデータ管理の現状を概観するものである。
  論文  参考訳（メタデータ） (2023-12-04T07:42:16Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Quality Not Quantity: On the Interaction between Dataset Design and Robustness of CLIP [43.7219097444333]
  ここでは,CLIPにおける事前学習分布がロバスト性をいかに引き起こすかを調べるために,公開されている6つのデータソースのテストベッドを紹介する。 その結果,事前学習データの性能は分布変化によって大きく異なることがわかった。 複数のソースを組み合わせることで、必ずしもより良いモデルが得られるのではなく、最高の個々のデータソースのロバスト性を希薄にする。
  論文  参考訳（メタデータ） (2022-08-10T18:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。