論文の概要: OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents
- arxiv url: http://arxiv.org/abs/2608.08775v2
- Date: Tue, 11 Aug 2026 11:49:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.734528
- Title: OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents
- Title（参考訳）: OmnilingualGAIA2:フロンティアAIエージェントにおける多言語ギャップの評価
- Abstract要約: 我々は,GAIA2エージェントベンチマークの機械翻訳拡張であるOmnilingualGAIA2を紹介する。
我々は8.8-18.4 pass@3の普遍的な言語間ギャップを見つけ、これは大きさがエージェント非対称であり、量的推論よりもツール整合に集中し、モデルスケールに近づかない。
人間の専門的な言語分析は、非ラテン文字言語の主要な失敗メカニズムとして、形態的キューの喪失と曖昧さの増幅をさらに特定する。
- 参考スコア（独自算出の注目度）: 32.227608559573525
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Agentic benchmarks aim to measure how well AI agents plan, search, execute, and recover within realistic multi-tool environments, but they are almost exclusively in English. As AI agents are globally deployed to a linguistically diverse user base, whether agentic competence measured in English transfers to other languages remains an open question. We introduce OmnilingualGAIA2, a machine-translated expansion (with partial human- expert validation) of the GAIA2 agentic benchmark, covering ten target languages spanning five writing systems, paired with a localised and human-calibrated multilingual verifier. Evaluating seven frontier and open-weight agents, we find a universal cross-lingual gap of 8.8-18.4 pass@3 points that is agent-asymmetric in magnitude, concentrates on tool-orchestration rather than quantitative reasoning, and does not close with model scale. A stratified error attribution decomposes the gap as predominantly model-driven (55%), with a bounded translation-contamination floor of only 6.4% of scenario-language pairs. Human-expert linguistic analysis further identifies morphological cue loss and amplified ambiguity as the primary failure mechanisms in non-Latin-script languages. Our results argue that multilingual agentic evaluation must become a standard part of the reporting protocol for globally deployed agents.
- Abstract（参考訳）: エージェントベンチマークは、現実的なマルチツール環境でAIエージェントがどれだけうまく計画、検索、実行、そして回復するかを測定することを目的としている。
AIエージェントが言語的に多様なユーザベースにグローバルにデプロイされているため、英語の他言語への転送で測定されるエージェント能力が未解決のままである。
OmnilingualGAIA2はGAIA2エージェントベンチマークの機械翻訳拡張(部分的人間-専門家による検証)であり、5つの書き込みシステムにまたがる10のターゲット言語をカバーする。
7つのフロンティアおよびオープンウェイトエージェントを評価すると、8.8-18.4 pass@3の普遍的な言語間ギャップが見つかる。
階層化された誤り帰属は、このギャップを主にモデル駆動(55%)として分解し、境界付き翻訳汚染層はシナリオ言語対の6.4%に過ぎない。
人間の専門的な言語分析は、非ラテン文字言語の主要な失敗メカニズムとして、形態的キューの喪失と曖昧さの増幅をさらに特定する。
本研究は,多言語エージェント評価がグローバルにデプロイされたエージェントの報告プロトコルの標準部分となる必要があることを論じる。
関連論文リスト
- Beyond Cross-Lingual Transfer: Benchmarking Propagation Boundaries in Multilingual LLM Unlearning [80.05116806217397]
大言語モデル(LLM)のアンラーニングは、汎用性を保ちながら、目標とする知識を抑えることを目的としている。
CLLPU(Cross-Lingual and Language-Bound Protocol for LLM Unlearning)は,この問題を2つの設定で定式化する多言語ベンチマークである。
目標とする知識がすべての言語で抑制されるべき共通目標の忘れ、言語条件の忘れ、抑圧は指定された言語に限定されるべきである。
論文 参考訳（メタデータ） (2026-09-05T08:26:15Z) - Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。
RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。
制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
論文 参考訳（メタデータ） (2026-04-24T09:29:14Z) - Litmus (Re)Agent: A Benchmark and Agentic System for Predictive Evaluation of Multilingual Models [18.040787413825793]
6つのタスクと5つのエビデンスシナリオにまたがる1500の質問のベンチマークを導入する。
このベンチマークは、アクセス可能な証拠を根拠の真理から切り離し、不完全な文献証拠から欠落した結果を推測しなければならないシステムの評価を可能にする。
また,DAGをベースとしたエージェントシステムであるLitmus (Re)Agentについても,クエリを仮説に分解し,エビデンスを取得し,特徴認識アグリゲーションを通じて予測を合成する。
論文 参考訳（メタデータ） (2026-04-10T05:16:33Z) - Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。
対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。
言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
論文 参考訳（メタデータ） (2026-01-01T08:53:49Z) - MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages [33.450081592217074]
MuBenchは61の言語をカバーし、幅広い機能を評価するベンチマークです。
我々は、最先端の多言語LLMを評価し、請求項と実際の言語カバレッジとの間に顕著なギャップを見いだした。
論文 参考訳（メタデータ） (2025-06-24T09:53:00Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - MAPS: A Multilingual Benchmark for Global Agent Performance and Security [8.275240552134338]
多様な言語やタスクにまたがるエージェントAIシステムを評価するためのベンチマークスイートであるMAPSを提案する。
それぞれのデータセットを11の多様な言語に変換し、805のユニークなタスクと9,660の言語固有のインスタンスを生成します。
我々は、英語から他の言語に移行する際に、パフォーマンスとセキュリティの両方の劣化を観察する。
論文 参考訳（メタデータ） (2025-05-21T18:42:00Z) - Cross-Lingual Consistency: A Novel Inference Framework for Advancing Reasoning in Large Language Models [10.231866835957538]
大型言語モデル(LLM)における推論能力を高める重要なメカニズムとして、Chain-of-Thought(CoT)が登場した。
LLMの推論能力を高めるために,多数決による多言語推論経路を統合した言語間整合性(CLC)フレームワークを提案する。
CMATHデータセットの実証評価により、従来の自己整合性法よりもCLCの方が優れていることが明らかになった。
論文 参考訳（メタデータ） (2025-04-02T16:09:39Z) - How Does Quantization Affect Multilingual LLMs? [50.867324914368524]
量子化技術は、大規模な言語モデルの推論速度と展開を改善するために広く使われている。
量子化多言語LLMの徹底的な分析を行い、言語間の性能と様々なスケールに焦点をあてる。
論文 参考訳（メタデータ） (2024-07-03T15:39:40Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。