論文の概要: SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages

• arxiv url: http://arxiv.org/abs/2606.28715v1
• Date: Sat, 27 Jun 2026 03:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.664163
• Title: SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages
• Title（参考訳）: SEATauBench: 低リソース東南アジア言語へのツール・アジェント・ユーザ・アセスメントの適応
• Abstract要約: SEATauBenchは、東南アジアのソブリンAIのためのエージェント中心の評価フレームワークである。 タウベンチ語を5つの言語(マンダリン語、ベトナム語、タイ語、インドネシア語、フィリピン語)に適応させ、段階的に局所的な設定でエージェントを評価する。 英語のエージェント能力は,会話言語が変化したときにのみ合理的に伝達されるが,タスクコンテキストの局所化が進むにつれて,品質と堅牢性が著しく低下することがわかった。
• 参考スコア（独自算出の注目度）: 9.521047330073056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While AI development and evaluation for Southeast Asia (SEA) has grown rapidly, agent capabilities in regional languages are still poorly understood despite its importance to sovereign AI. To fill this gap, we introduce SEATauBench, the first agent-focused evaluation framework for SEA sovereign AI. SeaTau adapts TauBench to five languages -- Mandarin, Vietnamese, Thai, Indonesian, and Filipino -- and evaluates agents across progressively localized settings that vary the language of user-agent interaction, tool specifications, and task domains. Across three recent models, we find that English agent capabilities transfer reasonably well when only the conversation language changes, but quality and robustness degrade sharply as more task contexts are localized, with the largest losses in full domain adaptation. We also the limits of English-only agent assessment for measuring agent capabilities in SEA languages. More broadly, SeaTau provides a diagnostic benchmark and reusable adaptation pipeline for building reliable multilingual agents for linguistically diverse regions. Data and code can be accessed at github.com/SEACrowd/SEATauBench.
• Abstract（参考訳）: 東南アジア(SEA)におけるAI開発と評価は急速に増加しているが、地域言語におけるエージェント能力は、主権AIの重要性にもかかわらず、いまだに理解されていない。 このギャップを埋めるために、SEATauBenchを紹介します。 SeaTauはTauBenchをMandarin、ベトナム語、タイ語、インドネシア語、フィリピンの5つの言語に適応させ、ユーザーエージェントのインタラクション、ツール仕様、タスクドメインの言語を変える、徐々に局所化された設定のエージェントを評価する。 最近の3つのモデルにおいて、会話言語が変化するだけで英語のエージェント能力は合理的に伝達されるが、より多くのタスクコンテキストがローカライズされるにつれて、品質とロバスト性は急激に低下し、完全なドメイン適応において最大の損失がある。 また、SEA言語におけるエージェント能力の測定のための英語のみのエージェントアセスメントの限界についても検討する。 より広い範囲で、SeaTauは言語的に多様な領域に対して信頼性の高い多言語エージェントを構築するための診断ベンチマークと再利用可能な適応パイプラインを提供する。 データとコードはgithub.com/SEACrowd/SEATauBenchでアクセスできる。

関連論文リスト

• WorldBench: Culturally Grounded Benchmark for Multilingual Agents [69.76002914143531]
  既存のベンチマークでは、状態の保存、言語間のパフォーマンス、現実的な根拠のあるシナリオへのアプリケーションをテストすることはめったにない。 We present WorldBench: a comprehensive, multilingual benchmark, where agent can act in a sandbox via structured action。 WorldBenchは、7つの言語と8つの文化にまたがる1,600のタスクで構成され、人間のアノテータからのフィードバックによってフィルタリングされ洗練されている。
  論文  参考訳（メタデータ） (2026-09-01T10:53:07Z)
• OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents [32.227608559573525]
  我々は,GAIA2エージェントベンチマークの機械翻訳拡張であるOmnilingualGAIA2を紹介する。 我々は8.8-18.4 pass@3の普遍的な言語間ギャップを見つけ、これは大きさがエージェント非対称であり、量的推論よりもツール整合に集中し、モデルスケールに近づかない。 人間の専門的な言語分析は、非ラテン文字言語の主要な失敗メカニズムとして、形態的キューの喪失と曖昧さの増幅をさらに特定する。
  論文  参考訳（メタデータ） (2026-08-09T15:49:00Z)
• Ticket-Bench: A Kickoff for Multilingual and Regionalized Agent Evaluation [4.563830993050022]
  タスク指向シナリオにおける多言語エージェント評価のためのベンチマークであるTicket-Benchを紹介する。 Ticket-Benchは、ポルトガル語、英語、スペイン語、ドイツ語、イタリア語、フランス語の6つの主要言語にわたるサッカーチケット購入のドメインをシミュレートしている。 我々は,関数呼び出しの精度と言語間の一貫性を計測し,多種多様な商用およびオープンソース LLM の評価を行った。
  論文  参考訳（メタデータ） (2025-09-17T23:13:47Z)
• MAPS: A Multilingual Benchmark for Global Agent Performance and Security [8.275240552134338]
  多様な言語やタスクにまたがるエージェントAIシステムを評価するためのベンチマークスイートであるMAPSを提案する。 それぞれのデータセットを11の多様な言語に変換し、805のユニークなタスクと9,660の言語固有のインスタンスを生成します。 我々は、英語から他の言語に移行する際に、パフォーマンスとセキュリティの両方の劣化を観察する。
  論文  参考訳（メタデータ） (2025-05-21T18:42:00Z)
• X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System [11.313780010313524]
  X-WebAgentBenchは対話型Web環境における新しい多言語エージェントベンチマークである。 複数の言語にまたがる言語エージェントの計画と相互作用性能を評価する。 以上の結果から, GPT-4oのような高度なモデルでも, 言語横断技術と組み合わせると, 良好な結果が得られないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-21T11:07:02Z)
• Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection [49.27067541740956]
  音声感情認識(SER)は、人間とコンピュータの自然な相互作用が可能な汎用AIエージェントを開発する上で重要な要素である。 英語や中国語以外の言語でラベル付きデータが不足しているため、堅牢な多言語SERシステムの構築は依然として困難である。 本稿では,低SERリソース言語におけるSERの性能向上のための手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:36:45Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages [64.10040374077994]
  SEACrowdは3つのモダリティにまたがる1000近い言語で標準化されたコーパスを統合する共同イニシアチブである。 私たちは、13のタスクにわたる36のネイティブ言語上のAIモデルの品質を評価し、SEAの現在のAI状況に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-14T15:23:39Z)
• Can language agents be alternatives to PPO? A Preliminary Empirical Study On OpenAI Gym [43.24826588565472]
  我々は,OpenAI Gymで収集した環境をテストベッドとして,TextGymシミュレータを構成するテキスト環境に接地する。 正確なドメイン知識制御のための5ドルのシナリオと、言語エージェントのための統一されたRLインスパイアされたフレームワークを紹介します。 古典的順序決定問題におけるPPOの代替となる可能性について予備評価する。
  論文  参考訳（メタデータ） (2023-12-06T04:48:26Z)
• OpenAgents: An Open Platform for Language Agents in the Wild [71.16800991568677]
  OpenAgentsは、日々の生活の中で言語エージェントを使い、ホストするためのオープンなプラットフォームです。 我々は課題と機会を解明し、現実世界の言語エージェントの将来の研究と開発の基礎を築きたいと考えています。
  論文  参考訳（メタデータ） (2023-10-16T17:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。