論文の概要: SPIO: Ensemble and Selective Strategies via LLM-Based Multi-Agent Planning in Automated Data Science

• arxiv url: http://arxiv.org/abs/2503.23314v1
• Date: Sun, 30 Mar 2025 04:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.056201
• Title: SPIO: Ensemble and Selective Strategies via LLM-Based Multi-Agent Planning in Automated Data Science
• Title（参考訳）: SPIO: 自動データサイエンスにおけるLLMに基づくマルチエージェント計画による組立と選択戦略
• Authors: Wonduk Seo, Juhyeon Lee, Yi Bu,
• Abstract要約: 大規模言語モデル(LLM)は、動的推論と適応性を有効にすることで、自動データ分析と機械学習に革命をもたらした。 4つの主要なモジュールをまたいだマルチエージェントプランニングを編成する新しいフレームワークであるSPIOを提案する。 各モジュールでは、専用の計画エージェントが独立して、後続のステージにカスケードする候補戦略を生成し、包括的な探索を促進する。
• 参考スコア（独自算出の注目度）: 1.1343849658875087
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have revolutionized automated data analytics and machine learning by enabling dynamic reasoning and adaptability. While recent approaches have advanced multi-stage pipelines through multi-agent systems, they typically rely on rigid, single-path workflows that limit the exploration and integration of diverse strategies, often resulting in suboptimal predictions. To address these challenges, we propose SPIO (Sequential Plan Integration and Optimization), a novel framework that leverages LLM-driven decision-making to orchestrate multi-agent planning across four key modules: data preprocessing, feature engineering, modeling, and hyperparameter tuning. In each module, dedicated planning agents independently generate candidate strategies that cascade into subsequent stages, fostering comprehensive exploration. A plan optimization agent refines these strategies by suggesting several optimized plans. We further introduce two variants: SPIO-S, which selects a single best solution path as determined by the LLM, and SPIO-E, which selects the top k candidate plans and ensembles them to maximize predictive performance. Extensive experiments on Kaggle and OpenML datasets demonstrate that SPIO significantly outperforms state-of-the-art methods, providing a robust and scalable solution for automated data science task.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、動的推論と適応性を有効にすることで、自動データ分析と機械学習に革命をもたらした。 近年のアプローチでは、マルチエージェントシステムを通じて高度なマルチステージパイプラインが実現されているが、通常は、様々な戦略の探索と統合を制限する厳格で単一パスのワークフローに依存しており、多くの場合、最適以下の予測をもたらす。 これらの課題に対処するために,SPIO(Sequential Plan Integration and Optimization)を提案する。SPIO(Sequential Plan Integration and Optimization)は,データ前処理,機能工学,モデリング,ハイパーパラメータチューニングという4つの主要なモジュールをまたいだマルチエージェント計画のオーケストレーションを行う。 各モジュールでは、専用の計画エージェントが独立して、後続のステージにカスケードする候補戦略を生成し、包括的な探索を促進する。 計画最適化エージェントは、いくつかの最適化された計画を提案することによってこれらの戦略を洗練する。 さらに, LLMによって決定された単一最適解経路を選択するSPIO-Sと, 上位k候補計画を選択し, 予測性能を最大化するSPIO-Eという2つの変種を導入する。 KaggleとOpenMLデータセットに関する大規模な実験は、SPIOが最先端のメソッドを大幅に上回っており、自動データサイエンスタスクのための堅牢でスケーラブルなソリューションを提供することを示している。

関連論文リスト

• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• A Survey on the Optimization of Large Language Model-based Agents [16.733092886211097]
  大規模言語モデル(LLM)は様々な分野で広く採用されており、自律的な意思決定や対話的なタスクに欠かせないものとなっている。 しかしながら、現在の作業は通常、バニラLLMに適用された迅速な設計や微調整戦略に依存している。 LLMに基づくエージェント最適化手法の総合的なレビューを行い、パラメータ駆動型およびパラメータフリーな手法に分類する。
  論文  参考訳（メタデータ） (2025-03-16T10:09:10Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• MLRS-PDS: A Meta-learning recommendation of dynamic ensemble selection pipelines [3.1140073169854485]
  本稿では,動的アンサンブル選択のための最適なプール生成手法を提案するメタラーニングレコメンデーションシステム(MLRS)を提案する。 このシステムは、データセットのメタ機能から構築されたメタモデルを使用して、与えられたデータセットに対して最も適切なプール生成スキームとDESメソッドを予測する。 このメタ学習レコメンデーションシステムは従来の固定プールやDESメソッドの選択方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-10T10:31:57Z)
• Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning [10.704716790096498]
  大規模言語モデル(LLM)は、技術やシステム設計の促進を通じて、目覚ましいタスク解決能力を示している。 事前データに制限のあるタスクを計画するためには、GPTやGeminiといったプロプライエタリなモデルを含むLLMのパフォーマンスは貧弱である。 本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。
  論文  参考訳（メタデータ） (2024-06-15T03:06:14Z)
• FIPO: Free-form Instruction-oriented Prompt Optimization with Preference Dataset and Modular Fine-tuning Schema [36.65009632307124]
  大規模言語モデル(LLM)のタスク性能向上のためのFIPO(Free-from Instruction-oriented Prompt Optimization)を提案する。 FIPOはモジュール型のAPOテンプレートを使用して、単純で最適化されたプロンプトを生成するために、ナイーブなタスク命令、オプションの命令応答、オプションの接地真理を動的に統合する。 5つの公開ベンチマークと6つのテストモデルでFIPOフレームワークを検証する。
  論文  参考訳（メタデータ） (2024-02-19T03:56:44Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。