論文の概要: T1-Bench: Benchmarking Multi-Scenario Agents in Real-World Domains

• arxiv url: http://arxiv.org/abs/2606.11070v1
• Date: Tue, 09 Jun 2026 16:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.612881
• Title: T1-Bench: Benchmarking Multi-Scenario Agents in Real-World Domains
• Title（参考訳）: T1-Bench: 実世界のドメインにおけるマルチシナリオエージェントのベンチマーク
• Authors: Genta Indra Winata, Amartya Chakraborty, Yuzhen Lin, Swasthi P Rao, Shikhhar Siingh, Houhan Lu, Nadia Bathaee, Sriharsha Hatwar, Paresh Dashore, Anmol Jain, Kshitij Tayal, Xiuzhu Lin, Anirban Das, Sambit Sahu, Shi-Xiong Zhang,
• Abstract要約: T1-Benchは、現実的な顧客対応マルチドメイン環境でエージェントシステムを評価するための、高忠実で包括的なベンチマークである。 12のプロプライエタリモデルとオープンウェイトモデルを用いてT1-Benchを評価し,エージェントの動作,ツール利用,会話品質を評価するための標準フレームワークを提供する。 エージェントシステムの今後の研究を容易にするため,我々はデータと評価コードをオープンソースとして公開する。
• 参考スコア（独自算出の注目度）: 17.617235861426686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in reasoning and tool-calling capabilities of large language models (LLMs) have enabled increasingly capable agentic systems. However, existing benchmarks remain limited in task complexity, realism, and domain diversity, and often fail to capture interactions that span multiple domains, limiting their ability to evaluate agents in realistic multi-step settings that require sustained reasoning and coordination. To address these limitations, we introduce T1-Bench, a high-fidelity, comprehensive benchmark for evaluating agentic systems in realistic customer-facing, multi-domain environments, featuring interleaved scenarios that require structured reasoning across multi-turn user-assistant interactions and substantially increasing both compositional complexity and evaluative rigor across 25 domains of varying difficulty. We evaluate T1-Bench using 12 proprietary and open-weight models, providing a reproducible and standardized framework for assessing agent behavior, tool utilization, and conversational quality in complex, multi-step environments. We further complement automatic evaluation with human judgments to strengthen the assessment of qualitative performance. Overall, T1-Bench substantially advances prior benchmarks by increasing task complexity, interaction depth, and domain coverage in simulated multi-domain environments. To facilitate future research on agentic systems, we will publicly release data and evaluation code as open source.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論とツールコール能力の最近の進歩は、ますます有能なエージェントシステムを実現している。 しかし、既存のベンチマークはタスクの複雑さ、リアリズム、ドメインの多様性に制限され続けており、しばしば複数のドメインにまたがる相互作用を捉えず、持続的な推論と調整を必要とする現実的なマルチステップ設定でエージェントを評価する能力を制限する。 T1-Benchは、現実的な顧客向けマルチドメイン環境におけるエージェントシステム評価のための高忠実で包括的なベンチマークであり、マルチターンユーザ・アシスタントインタラクションをまたいだ構造化推論を必要とするインターリーブシナリオを特徴とする。 我々は12のプロプライエタリモデルとオープンウェイトモデルを用いてT1-Benchを評価し、複雑なマルチステップ環境におけるエージェントの挙動、ツール利用、会話品質を評価するための再現可能で標準化されたフレームワークを提供する。 さらに,人間の判断による自動評価を補完し,質的評価を強化する。 全体として、T1-Benchは、シミュレーションされたマルチドメイン環境において、タスクの複雑さ、インタラクションの深さ、ドメインカバレッジを増大させることで、以前のベンチマークを大幅に改善する。 エージェントシステムの今後の研究を容易にするため,我々はデータと評価コードをオープンソースとして公開する。

関連論文リスト

• SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks [73.92333717662558]
  SpaceWorldは、複雑な現実世界のタスクにおけるマルチモーダルエージェントのインタラクティブな空間的理解を評価するためのベンチマークである。 多様なドメイン(例えば、家庭のルーチン、旅行、社会協力など)にまたがる760の人称タスクが特徴である。 信頼性評価のために、各タスクは、人間検証された初期状態、参照軌跡、端末状態検証器を含む。
  論文  参考訳（メタデータ） (2026-06-08T15:51:51Z)
• TongSIM: A General Platform for Simulating Intelligent Machines [59.27575233453533]
  エボディード・インテリジェンス(Embodied Intelligence)は、現実的なシミュレートされた環境における訓練エージェントに焦点を当てる。 TongSIMは、エンボディエージェントのトレーニングと評価のための高忠実で汎用的なプラットフォームである。
  論文  参考訳（メタデータ） (2025-12-23T10:00:43Z)
• LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
  textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。 我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。 我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
  論文  参考訳（メタデータ） (2025-11-17T23:57:24Z)
• MULTIBENCH++: A Unified and Comprehensive Multimodal Fusion Benchmarking Across Specialized Domains [35.511656323075506]
  我々は,マルチモーダル評価のための大規模ドメイン適応型ベンチマークを開発した。 このベンチマークでは,15のモダリティと20の予測タスクを含む,30以上のデータセットを統合している。 また、オープンソース、統一、自動評価パイプラインも開発しました。
  論文  参考訳（メタデータ） (2025-11-09T16:37:09Z)
• Diverse And Private Synthetic Datasets Generation for RAG evaluation: A multi-agent framework [2.102846336724103]
  Retrieval-augmented Generation (RAG) システムは、外部知識を組み込むことで、より大きな言語モデルの出力を改善する。 本研究では,RAG評価のための合成QAデータセットを生成するための新しいマルチエージェントフレームワークを導入し,セマンティック多様性とプライバシ保護を優先する。
  論文  参考訳（メタデータ） (2025-08-26T11:16:14Z)
• CREW-WILDFIRE: Benchmarking Agentic Multi-Agent Collaborations at Scale [4.464959191643012]
  我々は、次世代マルチエージェントエージェントAIフレームワークを評価するために設計されたオープンソースのベンチマークであるCREW-Wildfireを紹介する。 CREW-Wildfireは、大きな地図、異種エージェント、部分観測可能性、ダイナミックス、長期計画目的を含む手続き的に生成された山火事対応シナリオを提供する。 我々は、最先端のLLMベースのマルチエージェントエージェントAIフレームワークの実装と評価を行い、重要なパフォーマンスギャップを明らかにした。
  論文  参考訳（メタデータ） (2025-07-07T16:33:42Z)
• MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation [56.87891213797931]
  大規模言語モデルに対するMTR-Benchの評価について述べる。 4つのクラス、40のタスク、3600のインスタンスを含むMTR-Benchは、様々な推論機能をカバーする。 MTR-Benchは、データセットの構築とモデル評価の両方にまたがる、完全に自動化されたフレームワークを備えている。
  論文  参考訳（メタデータ） (2025-05-21T17:59:12Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
  大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。 既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。 垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。