論文の概要: AgentAda: Skill-Adaptive Data Analytics for Tailored Insight Discovery
- arxiv url: http://arxiv.org/abs/2504.07421v1
- Date: Thu, 10 Apr 2025 03:27:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 12:21:39.159906
- Title: AgentAda: Skill-Adaptive Data Analytics for Tailored Insight Discovery
- Title（参考訳）: AgentAda: 高度な洞察発見のためのスキル適応型データ分析
- Authors: Amirhossein Abaskohi, Amrutha Varshini Ramesh, Shailesh Nanisetty, Chirag Goel, David Vazquez, Christopher Pal, Spandana Gella, Giuseppe Carenini, Issam H. Laradji,
- Abstract要約: 我々はAgentAdaを紹介した。AgentAdaは、新しい分析スキルを学び、利用して、より専門的な洞察を引き出すことができる最初の分析エージェントだ。
ユーザーがどのデータ分析方法を適用するかを手動で決める既存の方法とは異なり、AgentAdaは分析を行うために必要なスキルを自動的に識別する。
我々は、AgentAdaが既存のツールよりも洞察に富んだ分析を提供しており、48.78%が分析を好み、27.67%は未熟練のエージェントであることを示した。
- 参考スコア（独自算出の注目度）: 20.333502467911828
- License:
- Abstract: We introduce AgentAda, the first LLM-powered analytics agent that can learn and use new analytics skills to extract more specialized insights. Unlike existing methods that require users to manually decide which data analytics method to apply, AgentAda automatically identifies the skill needed from a library of analytical skills to perform the analysis. This also allows AgentAda to use skills that existing LLMs cannot perform out of the box. The library covers a range of methods, including clustering, predictive modeling, and NLP techniques like BERT, which allow AgentAda to handle complex analytics tasks based on what the user needs. AgentAda's dataset-to-insight extraction strategy consists of three key steps: (I) a question generator to generate queries relevant to the user's goal and persona, (II) a hybrid Retrieval-Augmented Generation (RAG)-based skill matcher to choose the best data analytics skill from the skill library, and (III) a code generator that produces executable code based on the retrieved skill's documentation to extract key patterns. We also introduce KaggleBench, a benchmark of curated notebooks across diverse domains, to evaluate AgentAda's performance. We conducted a human evaluation demonstrating that AgentAda provides more insightful analytics than existing tools, with 48.78% of evaluators preferring its analyses, compared to 27.67% for the unskilled agent. We also propose a novel LLM-as-a-judge approach that we show is aligned with human evaluation as a way to automate insight quality evaluation at larger scale.
- Abstract（参考訳）: 我々は、ALMを利用した最初の分析エージェントであるAgenAdaを紹介し、新たな分析スキルを学び、利用して、より専門的な洞察を抽出する。
ユーザーがどのデータ分析方法を適用するかを手動で決める既存の方法とは異なり、AgentAdaは分析を行うのに必要な分析スキルのライブラリから自動的にスキルを識別する。
これはまた、AgentAdaが既存のLLMが最初から実行できないスキルを使用することを可能にする。
このライブラリにはクラスタリング、予測モデリング、BERTのようなNLPテクニックなど、さまざまなメソッドが含まれており、AgentAdaは、ユーザが必要とするものに基づいて複雑な分析タスクを処理できる。
AgentAdaのデータセット・トゥ・インサイト抽出戦略は、(I)ユーザの目標とペルソナに関連するクエリを生成する質問生成器、(II)スキルライブラリから最高のデータ分析スキルを選択するためのハイブリッド検索拡張生成(RAG)ベースのスキルマッチング器、(III)検索したスキルのドキュメントに基づいて実行可能なコードを生成するコード生成器の3つの主要なステップで構成されている。
我々はまた、AgenAdaのパフォーマンスを評価するために、さまざまな領域でキュレートされたノートブックのベンチマークであるKaggleBenchを紹介します。
我々は、AgentAdaが既存のツールよりも洞察に富んだ分析を提供しており、48.78%が分析を好み、27.67%は未熟練のエージェントであることを示した。
また,より大規模なインサイト品質評価を自動化する手段として,人間の評価と整合性を示す新しいLCM-as-a-judge手法を提案する。
関連論文リスト
- LAMBDA: A Large Model Based Data Agent [7.240586338370509]
本稿では,LArge Model Based Data Agent (LAMBDA)を紹介する。
LAMBDAは、複雑なデータ駆動アプリケーションにおけるデータ分析の課題に対処するように設計されている。
それは、人間と人工知能をシームレスに統合することで、データ分析パラダイムを強化する可能性がある。
論文 参考訳（メタデータ） (2024-07-24T06:26:36Z) - InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。
財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。
単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
論文 参考訳（メタデータ） (2024-07-08T22:06:09Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
論文 参考訳（メタデータ） (2024-06-17T04:20:02Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳（メタデータ） (2024-03-04T22:47:58Z) - InfiAgent-DABench: Evaluating Agents on Data Analysis Tasks [84.7788065721689]
本稿では,データ解析タスクにおけるLSMに基づくエージェントの評価に特化して設計された最初のベンチマークであるInfiAgent-DABenchを紹介する。
このベンチマークには52のCSVファイルから得られた257のデータ分析質問からなるデータセットであるDAEvalが含まれている。
エージェントフレームワーク上に構築し,DABench 上で GPT-3.5 を3.9% 上回る特殊エージェント DAAgent を開発した。
論文 参考訳（メタデータ） (2024-01-10T19:04:00Z) - SWAG: A Wrapper Method for Sparse Learning [0.13854111346209866]
本稿では,低データ収集とストレージコストを伴って,スパース学習者のライブラリを見つける手順を提案する。
この新しい手法は、容易に解釈できる低次元の属性ネットワークを提供する。
我々はこのアルゴリズムを "Sparse Wrapper AlGorithm" (SWAG) と呼ぶ。
論文 参考訳（メタデータ） (2020-06-23T08:53:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。