論文の概要: Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain
- arxiv url: http://arxiv.org/abs/2607.20510v1
- Date: Sat, 04 Jul 2026 04:34:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.925101
- Title: Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain
- Title（参考訳）: Telco-GAIA:Telecomドメインにおけるエージェントのバイリンガルベンチマーク
- Abstract要約: テルコGAIA(Telco-GAIA)は、現実世界の通信事業者のデータに基づいてツールを使用するエージェントを評価するためのベンチマークである。
英語とアラビア語で、それぞれがマルチホップ推論を要求する、100人の人間検証された質問応答タスクで構成されている。
ベンチマークはサンドボックス化されたDocker環境として提供され、正規化された正確な文字列マッチングによってスコア付けされる。
- 参考スコア（独自算出の注目度）: 43.78039297886209
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Telco-GAIA, a bilingual, multi-modal benchmark for evaluating tool-using agents on the data of a real-world telecommunications operator. Telco-GAIA comprises 100 human-verified question-answering tasks, in English and Arabic, that each demand multi-hop reasoning (4.2 hops on average) over three heterogeneous sources: a static website snapshot (HTML, images, and linked PDFs), a synthetic relational SQL database, and external web archives, spanning text, image, and tabular modalities. The benchmark is delivered as a sandboxed Docker environment and scored by normalized exact string matching, making evaluation objective, deterministic, and reproducible over time without any LLM-as-a-Judge. Evaluating a purpose-built reference agent across twelve commercial and open LLMs, we find Telco-GAIA challenging: even the strongest model solves only 71% of tasks; under a moderate cost budget, this falls to about 40%, and the visually grounded categories remain the weakest, where the average backend scores below 30%, leaving substantial headroom in document and image understanding. Telco-GAIA offers a rigorous, reproducible testbed for enterprise agents and a template for constructing closed-domain benchmarks.
- Abstract（参考訳）: 実世界の通信事業者のデータに基づいてツール使用エージェントを評価するための,バイリンガルなマルチモーダルベンチマークであるTelco-GAIAを紹介する。
Telco-GAIAは、英語とアラビア語で100の人間認証された質問応答タスクで構成されており、それぞれが、静的Webサイトスナップショット(HTML、画像、リンクされたPDF)、合成リレーショナルSQLデータベース、外部Webアーカイブ、テキスト、画像、および表のモダリティの3つの異種ソースに対して、マルチホップ推論(平均4.2ホップ)を要求する。
ベンチマークはサンドボックス化されたDocker環境として提供され、正規化された正確な文字列マッチングによってスコアされ、LLM-as-a-Judgeを使わずに、評価対象、決定的、再現可能である。
最強のモデルでさえ、タスクの71%しか解決していない。適度なコスト予算の下では、これは約40%に低下し、視覚的に根ざしたカテゴリは最も弱いままであり、平均的なバックエンドスコアが30%未満で、ドキュメントや画像の理解にかなりの支障を残している。
Telco-GAIAは、エンタープライズエージェントのための厳密で再現可能なテストベッドと、クローズドドメインベンチマークを構築するテンプレートを提供する。
関連論文リスト
- TeleCom-Bench: How Far Are Large Language Models from Industrial Telecommunication Applications? [12.347241408492279]
提案するTeleCom-Benchは,22,678個のキュレートされたサンプルを用いた12の評価セットからなる総合的なベンチマークであり,大規模言語モデルの評価を行う。
現在のLSMは診断技師として機能するが、現場エンジニアとして機能しないことを示す。
この能力ギャップは、現在のLLMが診断医として機能するが、現場エンジニアとして機能しないことを示す。
論文 参考訳（メタデータ） (2026-05-18T08:14:49Z) - TeleEmbedBench: A Multi-Corpus Embedding Benchmark for RAG in Telecommunications [2.2508462342902633]
大規模言語モデル(LLM)は、重要なタスクのために電気通信領域にますます多くデプロイされている。
TeleEmbedBenchは,通信専用に設計された,最初の大規模マルチコーパス埋め込みベンチマークである。
論文 参考訳（メタデータ） (2026-04-20T04:00:13Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - Agent Bain vs. Agent McKinsey: A New Text-to-SQL Benchmark for the Business Domain [10.89800905114692]
我々は、現実世界のビジネスコンテキストに特化して設計された新しいベンチマークであるCORGIを紹介する。
ビジネスクエリの4つのカテゴリ – 説明性,説明性,予測性,レコメンデーション – に関する質問を提供する。
CORGIのパフォーマンスは高いレベルの質問で低下し,正確な予測と実行可能な計画の提供に苦慮していることがわかった。
論文 参考訳（メタデータ） (2025-10-08T17:57:35Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。
マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-30T15:09:14Z) - MMSearch-Plus: Benchmarking Provenance-Aware Search for Multimodal Browsing Agents [44.63565009665076]
マルチモーダル理解を強制する311タスクのベンチマークであるMMSearch-Plusを紹介する。
標準ブラウジングツールとset-of-mark(SoM)モジュールを備えたモデルに依存しないエージェントフレームワークを提供する。
SoMは、プロファイナンス対応のズーム・アンド・リトリーブを可能にし、マルチステップ推論におけるロバスト性を改善する。
論文 参考訳（メタデータ） (2025-08-29T09:58:27Z) - MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳（メタデータ） (2025-07-25T03:58:07Z) - BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese [30.994503814617637]
BrowseComp-ZHは、中国のWeb上で大規模言語モデル(LLM)を評価するためのベンチマークである。
11のドメインにまたがる289のマルチホップ質問で構成されている。
強い会話能力と検索能力にもかかわらず、ほとんどのモデルは苦戦している。
論文 参考訳（メタデータ） (2025-04-27T17:32:43Z) - CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。
私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。
実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
論文 参考訳（メタデータ） (2024-07-01T17:55:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。