論文の概要: XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages

• arxiv url: http://arxiv.org/abs/2611.01370v1
• Date: Sun, 01 Nov 2026 00:11:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.469723
• Title: XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages
• Title（参考訳）: XDecideBench: 言語横断の型決定モデルと信頼ポリシーの評価
• Abstract要約: XDecideBenchは、88,425のテキストと153,875の型付き質問を備えた122言語で9つのスイートのベンチマークである。 型付き決定のために微調整された3つのオープンモデルは、12言語すべてで構築されたQwenモデルを上回った。 5%のエラーを許容する英語データに設定された信頼しきい値が、XNLIのエラー率を超える。
• 参考スコア（独自算出の注目度）: 0.00954904463032233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applications use Typed Decision Models to route and moderate text in many languages, and they often act only on decisions above a confidence threshold. We introduce XDecideBench, a benchmark of nine suites in 122 languages with 88,425 texts and 153,875 typed questions. All suites share one scoring contract, and we report aligned, locally labelled and native items separately. Model rankings change from suite to suite. The model that is best in English, chosen in hindsight, loses significantly in about a quarter of the suite-language cells, and on Burmese Belebele it falls far behind the best model. Three open models fine-tuned for typed decisions beat the Qwen models they were built from in all twelve development languages. When the Qwen models are run locally, a pre-registered held-out cohort confirms that the accuracy gain is larger in the four languages with the least web text than in the six with the most. In both sets of languages, however, fine-tuning fixes a similar share of the base model's errors, so the larger gain may reflect weaker base models. A confidence threshold set on English data to allow 5% errors exceeds that error rate on XNLI, even in German and French.
• Abstract（参考訳）: アプリケーションは、多くの言語でのテキストのルーティングと適度化にTyped Decision Modelを使用します。 XDecideBenchは、88,425のテキストと153,875の型付き質問を持つ122言語で9つのスイートのベンチマークである。 すべてのスイートが1つのスコアリング契約を共有しており、アライメント、ローカルラベル付け、ネイティブアイテムを別々に報告しています。 モデルランキングはスイートからスイートに変更される。 英語で最良のモデルは後から選択され、スイート言語セルの約4分の1で大幅に減少し、ビルマ・ベレベレでは最高のモデルよりもはるかに遅れている。 型付き決定のために微調整された3つのオープンモデルは、12言語すべてで構築されたQwenモデルを上回った。 Qwenモデルがローカルで実行される場合、登録済みのホールトアウトコホートは、4つの言語で最もウェブテキストが少ない6言語よりも精度の高いことを確認します。 しかし、両方の言語セットにおいて、微調整はベースモデルのエラーの同様の部分を修正するため、より大きな利得はベースモデルの弱さを反映する可能性がある。 5%のエラーを許容する英語データに設定された信頼しきい値が、XNLIのエラー率を超える。

関連論文リスト

• Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages [0.0]
  本稿では,インドネシアの地域言語における商業的Jevモデルとオープンなラヤ・マルチリンガルモデルの事前登録評価について報告する。 Jev は3つのデータセットすべてにおいてインドネシア語に近い文に対してより正確である。 期待されるキャリブレーションエラーは、地域言語では増加しないが、3つのデータセットで独自のエラーをランク付けする能力は低下する。
  論文  参考訳（メタデータ） (2026-10-09T04:12:51Z)
• The Curse of Multilinguality in Lexical Normalization [0.0]
  一般的なショートカットは、一度に複数の言語で単一のモデルをトレーニングすることである。 そのようなモデルをトレーニングすべき言語はいくつあるのか? 言語が他でのみトレーニングされている場合、正確性が最も高いのです。
  論文  参考訳（メタデータ） (2026-08-27T22:48:02Z)
• Exploring the Feasibility of Multilingual Grammatical Error Correction with a Single LLM up to 9B parameters: A Comparative Study of 17 Models [1.5812312064457867]
  我々は、英語、ドイツ語、イタリア語、スウェーデン語で記述されたテキストの文法的問題を修正するために使用される17の人気のあるモデルの性能を分析した。 4言語すべてで文法的正しさを向上させる6つのモデルをリストアップし、Gemma 9Bが現在検討されている言語で最高のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-05-09T12:35:26Z)
• Using Language Models to Disambiguate Lexical Choices in Translation [13.795280427753648]
  翻訳において、ソース言語の1つの単語で表される概念は、ターゲット言語で複数のバリエーションを持つことができる。 DTAiLSは1,377の文対のデータセットで、英語から翻訳する際の言語間概念の変化を示す。
  論文  参考訳（メタデータ） (2024-11-08T18:48:57Z)
• Linguini: A benchmark for language-agnostic linguistic reasoning [37.73108306825993]
  本稿では,既存の言語固有の知識に頼らずに,言語モデルの言語推論スキルを測定するための新しいベンチマークを提案する。 このテストでは、75の(ほとんどが)極低リソース言語にわたる160の問題でグループ化された864の質問をカバーしている。 解析されたすべてのモデルが25%以下の精度でランク付けされているのに対して、オープンモデルとクローズドモデルの間には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-09-18T16:51:02Z)
• Qwen2 Technical Report [141.0766756297144]
  本稿では,我々の大規模言語モデルと大規模マルチモーダルモデルへの最新の追加であるQwen2シリーズを紹介する。 Qwen2は、前身のQwen1.5を含む、これまでのほとんどのオープンウェイトモデルを超え、プロプライエタリモデルと比較して競争力のある性能を示している。 Qwen2は、英語、中国語、スペイン語、フランス語、ドイツ語、アラビア語、ロシア語、韓国語、日本語、タイ語、ベトナム語など、約30の言語で熟練した堅牢な多言語機能を示している。
  論文  参考訳（メタデータ） (2024-07-15T12:35:42Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。