論文の概要: CuratorMAS: Automating Dataset Curation via Multi-Agent Orchestration
- arxiv url: http://arxiv.org/abs/2610.07075v1
- Date: Mon, 05 Oct 2026 09:19:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.542471
- Title: CuratorMAS: Automating Dataset Curation via Multi-Agent Orchestration
- Title(参考訳): CuratorMAS:マルチエージェントオーケストレーションによるデータセットキュレーションの自動化
- Abstract要約: エージェントを編成して高品質なデータセットを評価・キュレートするマルチエージェント協調フレームワークである textbfCuratorMAS を提案する。
CuratorMASは複雑なキュレーションプロセスを5つのプログラム可能な実行ステージに分解し、並列化可能なワークフローを形成する。
実験により、CuratorMASは最大36.03ポイント(pp)のノイズ率を著しく低減し、下流モデルのF1スコアを最大8.88ppに改善した。
- 参考スコア(独自算出の注目度): 25.047426196199556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality datasets are essential for reliable machine learning, but dataset curation remains costly and hard to generalize across domains. Existing methods typically rely on manually designed heuristics or model-dependent signals, limiting their applicability across tasks and user queries. To address these limitations and automate data curation, we propose \textbf{CuratorMAS}, a multi-agent collaboration framework that orchestrates agents to evaluate and curate high-quality datasets. To achieve the goal of flexible curation, CuratorMAS decomposes the complex curation process into five programmable execution stages and forms a parallelizable workflow. Specifically, CuratorMAS first performs dataset exploration to collect contextual information such as file structures and constraint cues, thereby developing a comprehensive understanding of the given task. In order to acquire up-to-date information, CuratorMAS retrieves domain knowledge from online sources to augment the evaluation process. Next, CuratorMAS derives the necessary evaluation criteria and computes the corresponding metrics. Based on these results, CuratorMAS executes filtering accordingly. Finally, an evolution module summarizes the evaluation outcomes and updates the relevant skills. Extensive and comprehensive experiments demonstrate that CuratorMAS significantly reduces the noise rate by up to 36.03 percentage points (pp) while also improving the F1 score of downstream models by up to 8.88 pp.
- Abstract(参考訳): 高品質なデータセットは信頼性の高い機械学習には不可欠だが、データセットのキュレーションは高価で、ドメインをまたいだ一般化が難しいままである。
既存のメソッドは通常、手動設計のヒューリスティックやモデル依存の信号に依存しており、タスクやユーザクエリにまたがる適用性を制限している。
これらの制約に対処し、データキュレーションを自動化するために、エージェントを編成して高品質なデータセットを評価し、キュレートするマルチエージェント協調フレームワークである \textbf{CuratorMAS} を提案する。
柔軟なキュレーションの目標を達成するため、CuratorMASは複雑なキュレーションプロセスを5つのプログラム可能な実行ステージに分解し、並列化可能なワークフローを形成する。
具体的には、CuratorMASが最初にデータセット探索を行い、ファイル構造や制約キューなどのコンテキスト情報を収集し、与えられたタスクの包括的な理解を開発する。
最新の情報を取得するために、CuratorMASは、オンラインソースからドメイン知識を取得し、評価プロセスを増強する。
次に、CuratorMASは必要な評価基準を導出し、対応するメトリクスを計算する。
これらの結果に基づいて、CuratorMASはフィルタリングを実行する。
最後に、進化モジュールは評価結果を要約し、関連するスキルを更新します。
広範かつ包括的な実験により、CuratorMASはノイズ率を最大36.03ポイント (pp) まで下げるとともに、下流モデルのF1スコアを最大8.88pp%改善することを示した。
関連論文リスト
- Data-Local Autonomous LLM-Guided Neural Architecture Search for Multiclass Multimodal Time-Series Classification [0.4925906256430175]
LLM誘導型ニューラルネットワークサーチ(NAS)は、この探索を自動化することができるが、ほとんどの場合、クラウドの実行や、公開できないデータ由来のアーティファクトへのアクセスを前提としている。
固定されたプロトコルで全てのトレーニングと評価をローカルに実行しながら、遠隔で候補パイプラインを処理できる新しいデータローカルLLM誘導探索フレームワークを提案する。
本フレームワークは,クラスごとの1-vs-restバイナリエキスパートによるマルチクラス・マルチモーダル学習,軽量融合,エキスパートアーキテクチャとモダリティ特化前処理に関する共同探索を対象とする。
論文 参考訳(メタデータ) (2026-03-16T21:46:05Z) - Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs [66.63911043019294]
データ準備は、生のデータセットを識別し、データセット間の関係を解明し、それらから貴重な洞察を抽出することを目的としている。
本稿では,様々な下流タスクのためのデータ準備にLLM技術を用いることに焦点を当てる。
データクリーニング、標準化、エラー処理、計算、データ統合、データ豊か化という3つの主要なタスクにフィールドを編成するタスク中心の分類を導入します。
論文 参考訳(メタデータ) (2026-01-22T12:02:45Z) - Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities [35.39583123277091]
本稿では,原子タスクの分解と融合に基づくポストトレーニングアルゴリズムを提案する。
再帰的脆弱性検出タスクを4つの線形独立原子タスクに分解する。
合成データセットのトレーニングにより、3つのコンパイラ検証データセットを生成する。
次に、Slitherツールを使用して、制御フローグラフとデータフローグラフから構造情報を抽出する。
論文 参考訳(メタデータ) (2026-01-11T13:52:07Z) - CREAM: Continual Retrieval on Dynamic Streaming Corpora with Adaptive Soft Memory [19.64051996386645]
CREAMは、メモリベースの連続検索のための自己教師型フレームワークである。
教師なしの環境では、目に見えないトピックと見えないトピックの両方に適応します。
2つのベンチマークデータセットの実験は、CREAMが優れた適応性と精度を示すことを示した。
論文 参考訳(メタデータ) (2026-01-06T04:47:49Z) - CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。
単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。
本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
論文 参考訳(メタデータ) (2025-10-03T17:30:16Z) - MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。
既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。
そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
論文 参考訳(メタデータ) (2024-12-06T18:14:24Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳(メタデータ) (2024-07-01T18:58:22Z) - Intermediate Training on Question Answering Datasets Improves Generative
Data Augmentation [32.83012699501051]
我々は、コンテキスト生成タスクとしてデータ生成を定式化することにより、生成データ拡張を改善する。
ダウンストリームタスクを質問応答形式に投入し、微調整されたコンテキストジェネレータをターゲットタスク領域に適応させる。
少数ショット、ゼロショット設定で、パフォーマンスが大幅に改善されたことを実証します。
論文 参考訳(メタデータ) (2022-05-25T09:28:21Z) - Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。
本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。
最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
論文 参考訳(メタデータ) (2020-12-29T14:39:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。