論文の概要: SANA: What Matters for QA Agents over Massive Data Lakes?

• arxiv url: http://arxiv.org/abs/2606.13904v1
• Date: Thu, 11 Jun 2026 20:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.647639
• Title: SANA: What Matters for QA Agents over Massive Data Lakes?
• Title（参考訳）: SANA: 大規模データレイクにおけるQAエージェントの意義
• Authors: Austin Senna Wijaya, Jiaxiang Liu, Haonan Wang, Eugene Wu,
• Abstract要約: 我々は、EQAタスクをゴールドソースシーケンス、サニタイズされたサブクエスト、実行レコードを含むランタイムプロファイルに変換するフレームワークであるSANAを提案する。 我々は、最近の2つのEQAベンチマーク、LakeQAとKramaBenchを評価し、固定プロンプト、予算、データレイク、ランタイムの下で軽量で中規模のエージェントを評価する。
• 参考スコア（独自算出の注目度）: 21.461240255601684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exploratory question answering (EQA) over data lakes requires an LLM agent to discover relevant sources, analyze retrieved data, and adapt its actions based on intermediate results. End-to-end accuracy alone cannot distinguish failures in search, planning, data analysis, or the agent's Action Policy: its decisions about what to do next and when to submit an answer. We present SANA (Search Agent Navigation Ablation framework), a diagnostic ablation framework that transforms EQA tasks into runtime profiles containing gold source sequence, sanitized subquestions, and execution records. SANA uses these profiles to construct idealized search, planning, and data-analysis tools, allowing each component to be ablated; the residual gap is diagnostic evidence for policy failures. To illustrate SANA as a reusable evaluation framework, we adapted two recent EQA benchmarks, LakeQA and KramaBench, and evaluated lightweight and mid-sized agents under fixed prompts, budgets, data lakes, and runtimes. Across both benchmarks, data analysis is a consistent bottleneck while planning is less so. Search is a major limitation in LakeQA's large data-lake setting, but less so for the smaller-scale KramaBench. SANA thus deconstructs end-to-end task accuracies into a diagnosis of where data-lake agents fail, and allows for systematic comparisons of progress in search, planning, data analysis, and agent design.
• Abstract（参考訳）: データレイク上での探索的質問応答(EQA)には、LLMエージェントが関連するソースを発見し、検索したデータを分析し、中間結果に基づいてそのアクションを適用する必要がある。 エンドツーエンドの精度だけでは、検索、計画、データ分析、エージェントのアクションポリシーにおける失敗を区別することはできない。 SANA(Search Agent Navigation Ablation framework)は、EQAタスクをゴールドソースシーケンス、衛生化サブクエスト、実行レコードを含むランタイムプロファイルに変換する診断アブレーションフレームワークである。 SANAはこれらのプロファイルを使用して、理想的な検索、計画、データ分析ツールを構築し、各コンポーネントの短縮を可能にします。 SANAを再利用可能な評価フレームワークとして説明するために、最近の2つのEQAベンチマークであるLakeQAとKramaBenchを適用し、固定プロンプト、予算、データレイク、ランタイムの下で軽量および中規模のエージェントを評価した。 両方のベンチマークにおいて、データ分析は一貫したボトルネックであり、プランニングはそうではない。 検索は、レイクQAの大規模データレイク設定において大きな制限であるが、より小規模のクラマベンチではそうではない。 これにより、SANAはエンドツーエンドのタスク認証をデータレイクエージェントの故障箇所の診断に分解し、検索、計画、データ分析、エージェント設計の進捗状況の体系的な比較を可能にする。

関連論文リスト

• Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
  DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。 トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。 我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
  論文  参考訳（メタデータ） (2026-06-04T17:20:47Z)
• "Skill issues'': data-centric optimization of lakehouse agents [2.8558664643005525]
  本研究では,バプラン湖の分水池で作業するエージェントのアーティファクトを最適化する方法を示す。 本稿では,タスク検証ペアを生成し,サンドボックス内の候補スキルを実行し,トレースレベル信号とレイクハウス状態のプログラムチェックを用いてトラジェクトリをスコアするデータ中心最適化パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-31T11:58:04Z)
• TSAQA: Time Series Analysis Question And Answering Benchmark [85.35545785252309]
  時系列データは、金融、医療、交通、環境科学といった分野における重要な応用に不可欠である。 TSAQAはタスクカバレッジを拡大し、多様な時間的分析能力を評価するために設計された新しい統合ベンチマークである。
  論文  参考訳（メタデータ） (2026-01-30T17:28:56Z)
• GDS Agent for Graph Algorithmic Reasoning [0.0]
  本稿では,GDS (Graph Data Science) エージェントについて紹介する。 GDSエージェントは、アルゴリズム結果の事前処理(検索)と後処理とともに、グラフアルゴリズムの包括的なセットをツールとして導入する。 その結果、GDSエージェントは幅広いグラフタスクを解くことができることがわかった。
  論文  参考訳（メタデータ） (2025-08-28T10:35:44Z)
• Leveraging Knowledge Graphs and LLM Reasoning to Identify Operational Bottlenecks for Warehouse Planning Assistance [1.2749527861829046]
  我々のフレームワークは知識グラフ(KG)とLarge Language Model(LLM)ベースのエージェントを統合している。 生のDESデータを意味的にリッチなKGに変換し、シミュレーションイベントとエンティティの関係をキャプチャする。 LLMベースのエージェントは反復推論を使用し、相互依存的なサブクエストを生成する。各サブクエストに対して、KGインタラクションのためのCypherクエリを生成し、情報を抽出し、エラーを修正する。
  論文  参考訳（メタデータ） (2025-07-23T07:18:55Z)
• DABstep: Data Agent Benchmark for Multi-step Reasoning [2.6709582216950767]
  DABstepは、現実的なマルチステップデータ分析タスクでAIエージェントを評価するための新しいベンチマークである。 ファイナンシャル・アナリティクス・プラットフォームから派生した450以上の現実世界の課題で構成されている。 Dabstepは、自律的なデータ分析の研究を加速するために、公開のリーダーボードとツールキットと共にリリースされた。
  論文  参考訳（メタデータ） (2025-06-30T10:49:21Z)
• InfiAgent-DABench: Evaluating Agents on Data Analysis Tasks [84.7788065721689]
  本稿では,データ解析タスクにおけるLSMに基づくエージェントの評価に特化して設計された最初のベンチマークであるInfiAgent-DABenchを紹介する。 このベンチマークには52のCSVファイルから得られた257のデータ分析質問からなるデータセットであるDAEvalが含まれている。 エージェントフレームワーク上に構築し,DABench 上で GPT-3.5 を3.9% 上回る特殊エージェント DAAgent を開発した。
  論文  参考訳（メタデータ） (2024-01-10T19:04:00Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。