論文の概要: τ-bench-LILT: Evaluating Conversational Agents on Realistic Multilingual Tool-Use Tasks

• arxiv url: http://arxiv.org/abs/2611.07203v1
• Date: Wed, 04 Nov 2026 22:47:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.463
• Title: τ-bench-LILT: Evaluating Conversational Agents on Realistic Multilingual Tool-Use Tasks
• Title（参考訳）: τ-bench-LILT:リアルタイム多言語ツールタスクにおける会話エージェントの評価
• Abstract要約: $$-bench-LILTは会話エージェントを評価するための3$-benchの多言語拡張である。 航空会社、小売、テレコム、銀行のドメインでドイツ、韓国、トルコ、ファージをカバーしている。
• 参考スコア（独自算出の注目度）: 2.427979499018949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier evaluations of tool-using conversational agents are conducted almost exclusively in English, leaving a critical gap for organizations deploying agents in other languages and regions. We present $τ$-bench-LILT, a multilingual extension of ${τ^3}$-bench covering German, Korean, Turkish, and Farsi in the airline, retail, telecom, and banking domains. We natively localize every layer of the benchmark: customer databases are populated with culturally appropriate records, user-simulator prompts are refined iteratively through contrastive annotation by native-language experts, and tasks are updated according to the localized database and to reflect realistic tasks in the target region. Evaluation across eight agent models shows the largest drops compared to English in the Korean and Farsi retail domains, by up to 61 points in pass^4. Code and data released at https://github.com/lilt/tau-bench-lilt.
• Abstract（参考訳）: ツールを用いた会話エージェントのフロンティア評価はほとんど英語で行われ、他の言語や地域にエージェントを配置する組織にとって重要なギャップを残している。 航空、小売、通信、銀行の分野において、ドイツ語、韓国語、トルコ語、Farsiをカバーする${τ^3}$-benchの多言語拡張である$τ$-bench-LILTを提示する。 顧客データベースには文化的に適切なレコードが蓄積され、ユーザシミュレータのプロンプトは、ネイティブ言語の専門家による対照的なアノテーションによって反復的に洗練され、タスクは、ローカライズされたデータベースに従って更新され、ターゲット領域における現実的なタスクを反映する。 8種類のエージェントモデルによる評価では、韓国やファージの小売ドメインの英語と比較して、パス^4で61ポイントも減少している。 https://github.com/lilt/tau-bench-lilt.comでリリースされたコードとデータ。

関連論文リスト

• BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents [48.54460511104735]
  大規模言語モデル(LLM)エージェントは、ツールの使用やユーザや環境とのインタラクションを通じて、ますます多段階的に実行される。 既存のエージェントベンチマークを新しい言語に適応させるベンチマーク汎用エージェントワークフローであるBabelFlowを紹介する。 BabelFlowを用いて、4つのベンチマークファミリー、13ドメイン、23言語にわたる702の標準タスクから16,146のインスタンスからなるタスク整列型ベンチマークであるBabelArenaを構築した。
  論文  参考訳（メタデータ） (2026-09-20T09:25:38Z)
• WorldBench: Culturally Grounded Benchmark for Multilingual Agents [69.76002914143531]
  既存のベンチマークでは、状態の保存、言語間のパフォーマンス、現実的な根拠のあるシナリオへのアプリケーションをテストすることはめったにない。 We present WorldBench: a comprehensive, multilingual benchmark, where agent can act in a sandbox via structured action。 WorldBenchは、7つの言語と8つの文化にまたがる1,600のタスクで構成され、人間のアノテータからのフィードバックによってフィルタリングされ洗練されている。
  論文  参考訳（メタデータ） (2026-09-01T10:53:07Z)
• Terminal-Bench-LILT: Multilingual Agentic Coding Benchmark Grounded in Language, Region, and Culture [3.8631030419868657]
  Terminal-Bench-LILTは10言語で300の認証されたコーディングタスクからなるスイートである。 各タスクは、英語以外のソフトウェア開発に特化した問題をターゲットにしている。 6つのフロンティアモデルの評価は、最強モデルでさえ63.1%のパスレートにしか達していないことを示している。
  論文  参考訳（メタデータ） (2026-08-11T14:05:47Z)
• Ticket-Bench: A Kickoff for Multilingual and Regionalized Agent Evaluation [4.563830993050022]
  タスク指向シナリオにおける多言語エージェント評価のためのベンチマークであるTicket-Benchを紹介する。 Ticket-Benchは、ポルトガル語、英語、スペイン語、ドイツ語、イタリア語、フランス語の6つの主要言語にわたるサッカーチケット購入のドメインをシミュレートしている。 我々は,関数呼び出しの精度と言語間の一貫性を計測し,多種多様な商用およびオープンソース LLM の評価を行った。
  論文  参考訳（メタデータ） (2025-09-17T23:13:47Z)
• Text2Cypher Across Languages: Evaluating and Finetuning LLMs [0.17188280334580197]
  本論文では,複数の言語を対象としたText2Cypherタスクにおける基礎的および微調整LLMの性能について検討する。 英語の質問をスペイン語とトルコ語に翻訳することで、多言語データセットを作成し、リリースします。 標準化されたプロンプトとメトリクスを用いて、いくつかの基礎モデルを評価し、一貫したパフォーマンスパターンを観察する。
  論文  参考訳（メタデータ） (2025-06-26T16:31:10Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。