論文の概要: LLM-AutoDP: Automatic Data Processing via LLM Agents for Model Fine-tuning

• arxiv url: http://arxiv.org/abs/2601.20375v1
• Date: Wed, 28 Jan 2026 08:37:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.849103
• Title: LLM-AutoDP: Automatic Data Processing via LLM Agents for Model Fine-tuning
• Title（参考訳）: LLM-AutoDP:モデルファインチューニングのためのLLMエージェントによる自動データ処理
• Authors: Wei Huang, Anda Cheng, Yinggui Wang, Lei Wang, Tao Wei,
• Abstract要約: 大規模言語モデル(LLM)は、専門分野の性能を高めるために、ドメイン固有のデータに基づいて微調整することができる。 このようなデータには、多くの低品質なサンプルが含まれており、効果的なデータ処理(DP)を必要としている。
• 参考スコア（独自算出の注目度）: 12.792070502265616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can be fine-tuned on domain-specific data to enhance their performance in specialized fields. However, such data often contains numerous low-quality samples, necessitating effective data processing (DP). In practice, DP strategies are typically developed through iterative manual analysis and trial-and-error adjustment. These processes inevitably incur high labor costs and may lead to privacy issues in high-privacy domains like healthcare due to direct human access to sensitive data. Thus, achieving automated data processing without exposing the raw data has become a critical challenge. To address this challenge, we propose LLM-AutoDP, a novel framework that leverages LLMs as agents to automatically generate and optimize data processing strategies. Our method generates multiple candidate strategies and iteratively refines them using feedback signals and comparative evaluations. This iterative in-context learning mechanism enables the agent to converge toward high-quality processing pipelines without requiring direct human intervention or access to the underlying data. To further accelerate strategy search, we introduce three key techniques: Distribution Preserving Sampling, which reduces data volume while maintaining distributional integrity; Processing Target Selection, which uses a binary classifier to identify low-quality samples for focused processing; Cache-and-Reuse Mechanism}, which minimizes redundant computations by reusing prior processing results. Results show that models trained on data processed by our framework achieve over 80% win rates against models trained on unprocessed data. Compared to AutoML baselines based on LLM agents, LLM-AutoDP achieves approximately a 65% win rate. Moreover, our acceleration techniques reduce the total searching time by up to 10 times, demonstrating both effectiveness and efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、専門分野の性能を高めるために、ドメイン固有のデータに基づいて微調整することができる。 しかし、そのようなデータには多くの低品質なサンプルが含まれており、効果的なデータ処理(DP)を必要としている。 実際には、DP戦略は通常、反復的な手動分析と試行錯誤調整によって開発される。 これらのプロセスは必然的に高い労働コストを発生させ、機密データに直接アクセスするため、医療などのプライバシー上の問題を引き起こす可能性がある。 したがって、生データを公開せずに自動データ処理を実現することが重要な課題となっている。 この課題に対処するために,LLMをエージェントとして活用し,データ処理戦略を自動生成・最適化する新しいフレームワーク LLM-AutoDP を提案する。 提案手法は複数の候補戦略を生成し,フィードバック信号と比較評価を用いて繰り返し改良する。 この反復的インコンテキスト学習機構により、エージェントは人間の直接の介入や基礎となるデータへのアクセスを必要とせず、高品質な処理パイプラインに収束することができる。 戦略探索をさらに加速するために、分散整合性を維持しながらデータ量を削減する分散保存サンプリング、集中処理における低品質なサンプルを識別するためにバイナリ分類器を使用する処理ターゲット選択、事前処理結果の再利用による冗長な計算を最小化するキャッシュ・アンド・リユース機構という3つの主要な手法を導入する。 その結果、我々のフレームワークが処理したデータに基づいてトレーニングされたモデルが、未処理のデータでトレーニングされたモデルに対して80%以上の勝利率を達成することがわかった。 LLMエージェントに基づくAutoMLベースラインと比較して、LLM-AutoDPは約65%の勝利率を達成する。 さらに, 高速化技術により, 探索時間を最大10倍に短縮し, 有効性と効率性を実証した。

関連論文リスト

• RLS3: RL-Based Synthetic Sample Selection to Enhance Spatial Reasoning in Vision-Language Models for Indoor Autonomous Perception [20.01853641155509]
  自然言語命令に基づくアプリケーション固有の視覚的グラウンドニングのための視覚言語モデル(VLM)は、学習可能な自律システムにおいて最も一般的なアプローチの1つである。 本稿では, 強化学習(RL)エージェントと統合することにより, VLMファインチューニングを改善するための新しい一般化可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-31T04:30:42Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Efficient Alignment of Large Language Models via Data Sampling [0.4915744683251149]
  本稿では,少数の高品質サブセットを同定し,効率的なアライメントのための情報理論に基づく手法を提案する。 提案手法を用いたモデルでは,他のサンプリング手法よりも優れた性能を示し,全データセットに対応するモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-11-15T19:36:15Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。