論文の概要: Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages
- arxiv url: http://arxiv.org/abs/2610.14112v1
- Date: Fri, 09 Oct 2026 04:12:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 23:12:55.209231
- Title: Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages
- Title（参考訳）: システム・ワン・トランスファーは可能か? インドネシア語における分類型決定モデル, ラベル予算, 翻訳
- Abstract要約: 本稿では,インドネシアの地域言語における商業的Jevモデルとオープンなラヤ・マルチリンガルモデルの事前登録評価について報告する。
Jev は3つのデータセットすべてにおいてインドネシア語に近い文に対してより正確である。
期待されるキャリブレーションエラーは、地域言語では増加しないが、3つのデータセットで独自のエラーをランク付けする能力は低下する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Calibrated typed-decision ("System One") models return a label and a probability in a single forward pass at a small fraction of the cost of large language models (LLMs), yet their evaluation has been almost entirely English. We report a pre-registered evaluation of the commercial Jev model and the open Laya-multilingual model on Indonesian regional languages, using the parallel NusaX sentiment (12 languages) and NusaTranslation sentiment and emotion (7 languages) test sets. Jev is more often correct on sentences that are lexically closer to Indonesian in all three datasets, and presenting the human Indonesian translation instead raises its accuracy by up to 37.2 points, most in languages distant from Indonesian. Its expected calibration error does not grow on regional languages, but its ability to rank its own errors degrades in all three datasets. Retrained classifiers need more than 500 labels per language to match zero-shot Jev in 9 of 10 NusaX regional languages. A confidence-gated cascade that sends Jev's 10-30% least confident decisions to a local IndoBERT classifier matches or exceeds the better of the two systems, and routing to an LLM instead matches that LLM at 24-77% lower API cost. Of six further commercial LLMs (three Claude and three GPT models), five are 4-14 points more accurate than Jev, at several hundred times the API cost where it is reported, while the smallest (Claude Haiku) is less accurate. We release the pre-registration, code and all predictions.
- Abstract（参考訳）: Calibrated typed-decision ("System One") モデルは、大きな言語モデル(LLM)のコストのごく一部で、ラベルと1つの前方通過の確率を返します。
インドネシアの地域言語におけるJevモデルとLaya-multilingualモデルについて,NusaX感情(12言語)とNusaTranslation感情(7言語)テストセットを用いて事前登録した。
ジェヴは3つのデータセット全てにおいてインドネシア語に近い文章に対してより正確であり、代わりに人間によるインドネシア語翻訳は、その正確さを37.2ポイントまで引き上げる。
期待されるキャリブレーションエラーは、地域言語では増加しないが、3つのデータセットで独自のエラーをランク付けする能力は低下する。
制限された分類器は、NusaX地域言語10言語のうち9言語でゼロショットのJevと一致させるために、言語毎に500以上のラベルを必要とする。
Jevの10～30%の信頼性の低い決定をローカルのIndoBERT分類器に送信する自信の強いカスケードは、2つのシステムよりも優れており、代わりにLLMへのルーティングはAPIコストの24～77%でLLMと一致している。
さらに6つの商用LCM(3つのクロード、3つのGPTモデル)のうち、5つはJevよりも4-14ポイント正確であり、報告されるAPIコストの数百倍であり、最小の(Claude Haiku)は正確ではない。
事前登録、コード、すべての予測をリリースします。
関連論文リスト
- Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study [0.0]
本研究は,多言語埋め込みモデルが正しい英語-ギリシャ語翻訳を区別できるかどうかを考察する。
10コアに1,850のサンプルと5つの探索エラーカテゴリが含まれている。
埋め込みモデルは、テンソル・アンド・アスペクトや代名詞・基準誤差よりも明確な事実・語彙的変化を確実に検出した。
論文 参考訳（メタデータ） (2026-08-28T18:32:54Z) - The Curse of Multilinguality in Lexical Normalization [0.0]
一般的なショートカットは、一度に複数の言語で単一のモデルをトレーニングすることである。
そのようなモデルをトレーニングすべき言語はいくつあるのか?
言語が他でのみトレーニングされている場合、正確性が最も高いのです。
論文 参考訳（メタデータ） (2026-08-27T22:48:02Z) - M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。
80以上の構成で50以上のモデルを評価しました。
論文 参考訳（メタデータ） (2026-08-04T15:16:05Z) - LoraxBench: A Multitask, Multilingual Benchmark Suite for 20 Indonesian Languages [45.640417004733166]
インドネシアの低リソース言語に焦点を当てたベンチマークであるLoraxBenchを紹介します。
我々のデータセットは、20言語をカバーし、3つの言語に2つの形式レジスタを追加しています。
本稿では,レジスタの変更がモデル性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2025-08-17T18:07:57Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - LIMIT: Language Identification, Misidentification, and Translation using
Hierarchical Models in 350+ Languages [27.675441924635294]
現在のシステムは世界の7000の言語の大部分を正確に識別することはできない。
まず、350以上の言語で50Kの多言語・並列児童話のコーパスMCS-350をコンパイルする。
言語識別のための新しい誤予測分解階層モデル LIMIt を提案する。
論文 参考訳（メタデータ） (2023-05-23T17:15:43Z) - On the Off-Target Problem of Zero-Shot Multilingual Neural Machine
Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。
多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。
我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文 参考訳（メタデータ） (2023-05-18T12:43:31Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文 参考訳（メタデータ） (2021-04-18T05:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。