論文の概要: AirQA: A Comprehensive QA Dataset for AI Research with Instance-Level Evaluation

• arxiv url: http://arxiv.org/abs/2509.16952v1
• Date: Sun, 21 Sep 2025 07:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.05163
• Title: AirQA: A Comprehensive QA Dataset for AI Research with Instance-Level Evaluation
• Title（参考訳）: AirQA: インスタンスレベル評価を備えたAI研究のための総合的なQAデータセット
• Authors: Tiancheng Huang, Ruisheng Cao, Yuxin Zhang, Zhangyi Kang, Zijian Wang, Chenrun Wang, Yijie Luo, Hang Zheng, Lirong Qian, Lu Chen, Kai Yu,
• Abstract要約: AirQAは人工知能(AI)分野における人手による包括的な紙QAデータセットである 3つのLDMベースのエージェントにより、ExTrActorは人間の介入なしにサンプル生成および軌道収集を行うことができる。 ExTrActorは、小さなモデルのマルチターンツール使用能力を一貫して改善し、より大きなモデルに匹敵するパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 31.02336903452371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing volume of academic papers has made it increasingly difficult for researchers to efficiently extract key information. While large language models (LLMs) based agents are capable of automating question answering (QA) workflows for scientific papers, there still lacks a comprehensive and realistic benchmark to evaluate their capabilities. Moreover, training an interactive agent for this specific task is hindered by the shortage of high-quality interaction trajectories. In this work, we propose AirQA, a human-annotated comprehensive paper QA dataset in the field of artificial intelligence (AI), with 13,948 papers and 1,246 questions, that encompasses multi-task, multi-modal and instance-level evaluation. Furthermore, we propose ExTrActor, an automated framework for instruction data synthesis. With three LLM-based agents, ExTrActor can perform example generation and trajectory collection without human intervention. Evaluations of multiple open-source and proprietary models show that most models underperform on AirQA, demonstrating the quality of our dataset. Extensive experiments confirm that ExTrActor consistently improves the multi-turn tool-use capability of small models, enabling them to achieve performance comparable to larger ones.
• Abstract（参考訳）: 学術論文の増加により、研究者が重要な情報を効率的に抽出することがますます困難になっている。 大きな言語モデル(LLM)ベースのエージェントは、科学論文の質問応答(QA)ワークフローを自動化できるが、その能力を評価するための総合的で現実的なベンチマークはいまだに存在しない。 さらに,このタスクに対する対話エージェントのトレーニングは,高品質なインタラクショントラジェクトリの不足によって妨げられる。 本研究では,多タスク,マルチモーダル,インスタンスレベルの評価を含む13,948の論文と1,246の質問を含む,人工知能(AI)分野における人手による総合的な論文QAデータセットであるAirQAを提案する。 さらに,命令データ合成の自動化フレームワークであるExTrActorを提案する。 3つのLDMベースのエージェントにより、ExTrActorは人間の介入なしにサンプル生成および軌道収集を行うことができる。 複数のオープンソースおよびプロプライエタリなモデルの評価は、ほとんどのモデルがAirQAではパフォーマンスが悪く、データセットの品質が示されています。 ExTrActorは、小さなモデルのマルチターンツール使用能力を一貫して改善し、より大きなモデルに匹敵するパフォーマンスを実現している。

関連論文リスト

• SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents [93.26456498576181]
  本稿では,ディープリサーチのためのネイティブ自律単エージェントモデルの開発に焦点をあてる。 我々の最良の変種であるSFR-DR-20Bは、HumanityのLast Examベンチマークで28.7%に達する。
  論文  参考訳（メタデータ） (2025-09-08T02:07:09Z)
• MASTER: Enhancing Large Language Model via Multi-Agent Simulated Teaching [24.350821306196877]
  MASTERは、認知レベルが異なる複数のエージェント間の相互作用を通じて、元のデータを豊かにする新しいデータ拡張手法である。 私たちは、Orca-Math-200k、ProcQA、OpenHermes2.5といった既存のデータセットから強化された微調整データセットであるBOOST-QAを構築します。 実験により、BOOST-QAで微調整されたモデルは、複数のベンチマークで優れた性能を示し、強力なマルチタスクの一般化を示す。
  論文  参考訳（メタデータ） (2025-06-03T09:41:35Z)
• LAM SIMULATOR: Advancing Data Generation for Large Action Model Training via Online Exploration and Trajectory Feedback [121.78866929908871]
  AIエージェントのための大規模アクションモデル(LAM)は、素晴らしいポテンシャルを提供するが、高品質なトレーニングデータを必要とするため、課題に直面している。 LAM SIMULATORは,高品質なフィードバックによるエージェントタスクのオンライン探索を目的とした総合的なフレームワークである。 本フレームワークは,動的タスククエリジェネレータ,広範囲なツールコレクション,および大規模言語モデル(LLM)エージェントがツールを呼び出し,リアルタイムフィードバックを受信できる対話型環境を備えている。
  論文  参考訳（メタデータ） (2025-06-02T22:36:02Z)
• QLASS: Boosting Language Agent Inference via Q-Guided Stepwise Search [89.97082652805904]
  提案するQLASS(Q-guided Language Agent Stepwise Search)は,Q-valueを推定してアノテーションを自動的に生成する。 ステップワイズガイダンスにより、言語エージェントが長期的価値に適応できるようにQ誘導型生成戦略を提案する。 我々はQLASSが質的分析によってより効果的な意思決定につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2025-02-04T18:58:31Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• AQUALLM: Audio Question Answering Data Generation Using Large Language Models [2.2232550112727267]
  大規模言語モデル(LLM)に依存するスケーラブルなAQAデータ生成パイプラインを導入する。 AQAのための広範かつ高品質なベンチマークデータセットを3つ提示する。 我々のデータセットでトレーニングされたモデルは、人間の注釈付きAQAデータを用いてトレーニングされたモデルと比較して、拡張された一般化可能性を示す。
  論文  参考訳（メタデータ） (2023-12-28T20:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。