論文の概要: BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents

• arxiv url: http://arxiv.org/abs/2609.23490v1
• Date: Sun, 20 Sep 2026 09:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.837517
• Title: BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents
• Title（参考訳）: BabelArena: LLMエージェントの大規模多言語ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ツールの使用やユーザや環境とのインタラクションを通じて、ますます多段階的に実行される。 既存のエージェントベンチマークを新しい言語に適応させるベンチマーク汎用エージェントワークフローであるBabelFlowを紹介する。 BabelFlowを用いて、4つのベンチマークファミリー、13ドメイン、23言語にわたる702の標準タスクから16,146のインスタンスからなるタスク整列型ベンチマークであるBabelArenaを構築した。
• 参考スコア（独自算出の注目度）: 48.54460511104735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents increasingly execute multi-step workflows through tool use and interaction with users and environments. However, current agent evaluations are largely English-centric, limiting our understanding of agent capabilities in multilingual settings. We introduce BabelFlow, a benchmark-general agentic workflow that adapts existing agent benchmarks to new languages by analyzing runtime dependencies, coordinating structure-preserving translation, and combining multi-layer verification with human review to preserve task and evaluation semantics. Using BabelFlow, we construct BabelArena, a task-aligned benchmark comprising 16,146 instances derived from 702 canonical tasks across four benchmark families, 13 domains, and 23 languages. Experiments with five frontier models show that no single model dominates across benchmark families and that cross-language disparities extend well beyond task success. Lower-resource languages exhibit distinct failure patterns, with larger shares of tool-use and control-flow errors rather than answer-quality errors alone, pointing to gaps in reliable task execution across the resource levels of these languages. On the same tasks, agents in low-resource languages also consume substantially more tokens than in English (up to roughly twice the input) without proportional increases in interaction length, and language consistency degrades further on tasks requiring structured output, where switches are directed overwhelmingly toward English. We believe BabelArena provides a foundation for advancing research on reliable and efficient multilingual agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ツールの使用やユーザや環境とのインタラクションを通じて、ますます多段階のワークフローを実行するようになる。 しかし、現在のエージェント評価は英語中心であり、多言語設定におけるエージェント能力の理解を制限している。 既存のエージェントベンチマークを新しい言語に適応させるベンチマーク汎用エージェントワークフローであるBabelFlowを導入し、ランタイム依存を分析し、構造保存翻訳をコーディネートし、マルチレイヤ検証とヒューマンレビューを組み合わせてタスクと評価セマンティクスを保存する。 BabelFlowを用いて、4つのベンチマークファミリ、13ドメイン、23言語にわたる702の標準タスクから16,146のインスタンスからなるタスク整合ベンチマークであるBabelArenaを構築した。 5つのフロンティアモデルによる実験では、ベンチマークファミリで1つのモデルが優位に立たず、言語間の格差がタスクの成功をはるかに超えていることが示されている。 低リソース言語は、応答品質のエラーのみでなく、ツール使用と制御フローエラーのシェアが大きいため、これらの言語のリソースレベルでの信頼性の高いタスク実行のギャップが指摘されている。 同じタスクでは、低リソース言語のエージェントは、相互作用長の比例的な増加を伴わずに、英語よりもかなり多くのトークン(入力の約2倍)を消費し、言語一貫性は構造化された出力を必要とするタスクでさらに低下し、スイッチは圧倒的に英語に向けられる。 我々はBabelArenaが、信頼性と効率的な多言語エージェントの研究を促進する基盤を提供すると考えている。

関連論文リスト

• WorldBench: Culturally Grounded Benchmark for Multilingual Agents [69.76002914143531]
  既存のベンチマークでは、状態の保存、言語間のパフォーマンス、現実的な根拠のあるシナリオへのアプリケーションをテストすることはめったにない。 We present WorldBench: a comprehensive, multilingual benchmark, where agent can act in a sandbox via structured action。 WorldBenchは、7つの言語と8つの文化にまたがる1,600のタスクで構成され、人間のアノテータからのフィードバックによってフィルタリングされ洗練されている。
  論文  参考訳（メタデータ） (2026-09-01T10:53:07Z)
• PolyWorkBench: Benchmarking Multilingual Long-Horizon LLM Agents [72.96251271825038]
  大規模言語モデル(LLM)エージェントは、計画、ツールの使用、外部環境との相互作用を必要とする長い水平タスクにおいて、強いパフォーマンスを示している。 ほとんどの既存のベンチマークでは、単一の言語内で実行プロセス全体が実行されるモノリンガルな設定を暗黙的に仮定している。 多言語長時間労働作業におけるエージェント評価のためのベンチマークであるPolyWorkBenchを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T08:50:09Z)
• BabelCoder: Agentic Code Translation with Specification Alignment [7.64108921132755]
  本稿では,BabelCoderについて紹介する。BabelCoderは,タスクを特殊なエージェントに分解して,翻訳,テスト,洗練を行うためのエージェントフレームワークである。 BabelCoderは94%のケースで既存のメソッドを0.5%-13.5%上回り、平均精度は94.16%である。
  論文  参考訳（メタデータ） (2025-12-07T15:57:54Z)
• Ticket-Bench: A Kickoff for Multilingual and Regionalized Agent Evaluation [4.563830993050022]
  タスク指向シナリオにおける多言語エージェント評価のためのベンチマークであるTicket-Benchを紹介する。 Ticket-Benchは、ポルトガル語、英語、スペイン語、ドイツ語、イタリア語、フランス語の6つの主要言語にわたるサッカーチケット購入のドメインをシミュレートしている。 我々は,関数呼び出しの精度と言語間の一貫性を計測し,多種多様な商用およびオープンソース LLM の評価を行った。
  論文  参考訳（メタデータ） (2025-09-17T23:13:47Z)
• MAPS: A Multilingual Benchmark for Global Agent Performance and Security [8.275240552134338]
  多様な言語やタスクにまたがるエージェントAIシステムを評価するためのベンチマークスイートであるMAPSを提案する。 それぞれのデータセットを11の多様な言語に変換し、805のユニークなタスクと9,660の言語固有のインスタンスを生成します。 我々は、英語から他の言語に移行する際に、パフォーマンスとセキュリティの両方の劣化を観察する。
  論文  参考訳（メタデータ） (2025-05-21T18:42:00Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。