論文の概要: Terminal-Bench-LILT: Multilingual Agentic Coding Benchmark Grounded in Language, Region, and Culture
- arxiv url: http://arxiv.org/abs/2608.28641v1
- Date: Tue, 11 Aug 2026 14:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-06 19:38:41.461171
- Title: Terminal-Bench-LILT: Multilingual Agentic Coding Benchmark Grounded in Language, Region, and Culture
- Title（参考訳）: Terminal-Bench-LILT:言語・地域・文化における多言語エージェントコーディングベンチマーク
- Abstract要約: Terminal-Bench-LILTは10言語で300の認証されたコーディングタスクからなるスイートである。
各タスクは、英語以外のソフトウェア開発に特化した問題をターゲットにしている。
6つのフロンティアモデルの評価は、最強モデルでさえ63.1%のパスレートにしか達していないことを示している。
- 参考スコア（独自算出の注目度）: 3.8631030419868657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most evaluations for coding agents are conducted exclusively in English, which does not reflect real-world multilingual deployment. We present Terminal-Bench-LILT, a suite of 300 authentic coding tasks in ten languages: Arabic, Czech, German, Spanish, Hindi, Japanese, Korean, Serbian, Turkish, and Chinese. Each task targets issues specific to non-English software development that have no direct English equivalent, e.g., internationalization, encoding, text normalization, and cultural conventions. All tasks are authored by native-speaker programmers and validated through a multi-stage quality control pipeline. Evaluation of six frontier models reveals that even the strongest model reaches only 63.1\% pass rate, with many tasks unsolved by any model. Performance varies substantially by language and does not track general coding benchmark rankings, highlighting that multilingual coding competence is a distinct and underexplored capability axis. Sample tasks are available at https://github.com/lilt/terminal-bench-lilt
- Abstract（参考訳）: 符号化エージェントのほとんどの評価は、実世界の多言語展開を反映しない英語でのみ行われる。
10言語(アラビア語、チェコ語、ドイツ語、スペイン語、ヒンディー語、日本語、韓国語、セルビア語、トルコ語、中国語)で300の真正なコーディングタスクのスイートである Terminal-Bench-LILT を提示する。
各タスクは、直接英語に相当しない、例えば国際化、エンコーディング、テキストの正規化、文化慣習を持たない非英語ソフトウェア開発に特化した問題をターゲットにしている。
すべてのタスクはネイティブスピーカープログラマによって作成され、マルチステージ品質制御パイプラインを通じて検証される。
6つのフロンティアモデルの評価は、最強モデルでさえ63.1\%のパスレートにしか達せず、多くのタスクがどのモデルでも未解決であることを示している。
性能は言語によって大きく異なり、一般的なコーディングベンチマークのランキングは追跡されていない。
サンプルタスクはhttps://github.com/lilt/terminal-bench-liltで利用可能である。
関連論文リスト
- WorldBench: Culturally Grounded Benchmark for Multilingual Agents [69.76002914143531]
既存のベンチマークでは、状態の保存、言語間のパフォーマンス、現実的な根拠のあるシナリオへのアプリケーションをテストすることはめったにない。
We present WorldBench: a comprehensive, multilingual benchmark, where agent can act in a sandbox via structured action。
WorldBenchは、7つの言語と8つの文化にまたがる1,600のタスクで構成され、人間のアノテータからのフィードバックによってフィルタリングされ洗練されている。
論文 参考訳（メタデータ） (2026-09-01T10:53:07Z) - BabelCoder: Agentic Code Translation with Specification Alignment [7.64108921132755]
本稿では,BabelCoderについて紹介する。BabelCoderは,タスクを特殊なエージェントに分解して,翻訳,テスト,洗練を行うためのエージェントフレームワークである。
BabelCoderは94%のケースで既存のメソッドを0.5%-13.5%上回り、平均精度は94.16%である。
論文 参考訳（メタデータ） (2025-12-07T15:57:54Z) - Ticket-Bench: A Kickoff for Multilingual and Regionalized Agent Evaluation [4.563830993050022]
タスク指向シナリオにおける多言語エージェント評価のためのベンチマークであるTicket-Benchを紹介する。
Ticket-Benchは、ポルトガル語、英語、スペイン語、ドイツ語、イタリア語、フランス語の6つの主要言語にわたるサッカーチケット購入のドメインをシミュレートしている。
我々は,関数呼び出しの精度と言語間の一貫性を計測し,多種多様な商用およびオープンソース LLM の評価を行った。
論文 参考訳（メタデータ） (2025-09-17T23:13:47Z) - BenchMAX: A Comprehensive Multilingual Evaluation Suite for Large Language Models [44.759766566414626]
マルチウェイ多言語評価ベンチマークであるBenchMAXを紹介する。
高品質を維持するために、3つの異なるネイティブなアノテータがそれぞれのサンプルに独立してアノテートする。
BenchMAXの大規模な実験は、言語間のコア機能のさまざまな効果を明らかにしている。
論文 参考訳（メタデータ） (2025-02-11T08:17:19Z) - CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。
各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。
Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文 参考訳（メタデータ） (2024-08-23T11:43:00Z) - Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。
言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。
我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
論文 参考訳（メタデータ） (2024-06-04T17:56:28Z) - xCodeEval: A Large Scale Multilingual Multitask Benchmark for Code
Understanding, Generation, Translation and Retrieval [32.60391966381949]
我々はこれまでで最大のマルチ言語マルチタスクベンチマークであるxCodeEvalを紹介した。
コード理解、生成、翻訳、検索を含む合計7ドルのタスクが特徴だ。
xCodeEvalは実行ベースの評価を採用し、多言語コード実行エンジンであるExecEvalを提供する。
論文 参考訳（メタデータ） (2023-03-06T10:08:51Z) - MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
英語以外の自然言語コマンドからコード生成をベンチマークします。
スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。
難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
論文 参考訳（メタデータ） (2022-03-16T04:21:50Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳（メタデータ） (2020-09-10T22:42:15Z) - GLUECoS : An Evaluation Benchmark for Code-Switched NLP [17.066725832825423]
コード切替言語に対する評価ベンチマーク GLUECoS を提案する。
英語・ヒンディー語・英語・スペイン語におけるNLP課題について報告する。
我々は、人工的に生成されたコード切替データに基づいて、多言語モデルを微調整する。
論文 参考訳（メタデータ） (2020-04-26T13:28:34Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳（メタデータ） (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。