論文の概要: J-tau: A Fully Localized Japanese Benchmark for Tool-Agent-User Interaction

• arxiv url: http://arxiv.org/abs/2610.19638v1
• Date: Wed, 14 Oct 2026 06:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.988709
• Title: J-tau: A Fully Localized Japanese Benchmark for Tool-Agent-User Interaction
• Title（参考訳）: J-tau: ツール-エージェント-ユーザインタラクションのための完全にローカライズされた日本語ベンチマーク
• Abstract要約: J-tauは、顧客サポートシナリオでツールを使用するLLMエージェントを評価するための、初めて公開された日本のベンチマークである。 機械翻訳、実体適応、人間レビューを通じて、Tau-benchをローカライズする。 実験の結果、J-tau は機械翻訳された機械よりも評価誤差が少ないことがわかった。
• 参考スコア（独自算出の注目度）: 3.211547737221513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present J-tau, the first publicly available Japanese benchmark for evaluating tool-using LLM agents in interactive customer-support scenarios. While tau-bench is widely used to evaluate LLM agents, it is English-centric and cannot evaluate agents in other languages. Existing multilingual extensions offer no public Japanese version and rely primarily on machine translation, leaving locale-specific entities such as addresses and currencies inconsistent with the target region. To enable reliable evaluation in Japanese, we carefully localize tau-bench through machine translation, entity adaptation, and human review. During this process, we also uncover and fix two flaws in the original tau-bench: invalid tasks and a score aggregation error that inflates certain models' results. Experiments show that J-tau yields fewer evaluation errors than a naively machine-translated counterpart and that our fixes resolve both flaws.
• Abstract（参考訳）: J-tauは、対話型顧客支援シナリオにおけるツール利用LLMエージェントの評価のための、日本初の公開ベンチマークである。 タウベンチはLLMエージェントの評価に広く用いられているが、英語中心であり、他の言語ではエージェントを評価できない。 既存の多言語拡張では、日本語版は提供されておらず、主に機械翻訳に依存しており、宛先や通貨などの地域固有のエンティティは対象地域と矛盾している。 日本語で信頼性の高い評価を可能にするため,機械翻訳,エンティティ適応,人間によるレビューを通じて,タウベンチを慎重にローカライズする。 この過程では,不正なタスクと,特定のモデルの結果を膨らませるスコアアグリゲーションエラーという,オリジナルのTau-benchの2つの欠陥を発見し,修正する。 実験の結果、J-tau は機械翻訳による機械翻訳よりも評価誤差が少ないことが判明し、修正によって両方の欠陥が解決された。

関連論文リスト

• JOR-Bench: Japanese Operations Research Benchmarks for Large Language Models [16.295305195753723]
  JOR-Benchは、大規模言語モデルの能力を評価するための5つの日本語言語ベンチマークのコレクションである。 JOR-Benchは、任意のプログラミング言語で使用可能な、ソルバに依存しないベンチマークである。
  論文  参考訳（メタデータ） (2026-07-18T11:24:10Z)
• Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation [8.48956061615262]
  機械翻訳ベンチマークは、大規模言語モデル(LLM)の多言語能力を評価するために広く用いられている。 MQM形式の自動エラーがLLMの判断と,QEのベースラインからどの程度の精度で発生するか,という2つの現実的なギャップに対処する。 自然発生型ベンチマーク翻訳ではスパンの一致は自明であり, ターゲット側の翻訳誤差は, 翻訳精度において測定可能なパーセンテージ・ポイント・ドロップと一貫して関連していることがわかった。
  論文  参考訳（メタデータ） (2026-05-24T07:06:34Z)
• GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation [2.845609289542755]
  エージェントベンチマークは英語中心であり、多言語版は機械翻訳(MT)と限定的な後編集で構築されることが多い。 エージェント的タスクの場合、この最小限のワークフローは、クエリー・アンサーのミスアライメントや文化的にターゲット外のコンテキストを通じて、ベンチマークの妥当性を破ることができます。 自動チェックと人的レビューの両方を用いて、明示的な機能的アライメント、文化的アライメント、難易度キャリブレーションにより、英語のベンチマークを複数の言語に適応するための洗練されたワークフローを提案する。
  論文  参考訳（メタデータ） (2026-04-27T19:11:21Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Translation Errors Significantly Impact Low-Resource Languages in Cross-Lingual Learning [26.49647954587193]
  本研究では,翻訳の不整合が存在し,XNLIの低リソース言語に不均等に影響を及ぼすことを示す。 このような矛盾を識別するために,人間翻訳テキストと機械翻訳ターゲットテキストにおけるゼロショット評価の差を計測する手法を提案する。 また,Hindi と Urdu という2つの言語に対して,人間が翻訳したテストインスタンスを手動で再注釈することで,翻訳エラーが存在することも確認した。
  論文  参考訳（メタデータ） (2024-02-03T08:22:51Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• Rethinking Round-Trip Translation for Machine Translation Evaluation [44.83568796515321]
  ラウンドトリップ翻訳が参照なしで自動評価に利用できるという驚くべき発見を報告する。 ラウンドトリップ翻訳が複数の機械翻訳評価タスクに有用であることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:06:20Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。