論文の概要: Zuse: A Decision Model for European Languages
- arxiv url: http://arxiv.org/abs/2611.06238v1
- Date: Wed, 04 Nov 2026 09:45:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.046853
- Title: Zuse: A Decision Model for European Languages
- Title(参考訳): Zuse: ヨーロッパの言語のための決定モデル
- Abstract要約: 決定モデルは文書を読み取って、テキストを生成する代わりに、固定されたオプションセットの確率を返す。
いくつかは2026年に登場したが、英語以外では発表されていない。
フリーズされたオープンウェイトベース上で低ランクアダプタとポインタヘッドをトレーニングする3つの決定モデルであるZuseについて説明する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision models read a document and return a probability for each of a fixed set of options instead of generating text. Several appeared in 2026, but none has published results outside English. We describe Zuse, three decision models (4B, 9B and 27B) that train a low-rank adapter and a pointer head on frozen open-weight bases, targeting 27 European languages, and use them to study how this design behaves across languages and tasks. On a broad European suite of 11 sources excluded from training, covering 9 task groups and 27 languages, a development set that also guided model selection, the 27B model reaches 87.5% accuracy with a pooled expected calibration error of 0.016, and 0.035 when weighted per source. Post-hoc analyses of these single-seed results give three findings. First, miscalibration is structured by task rather than language: on parallel reading and topic items in 26 languages the confidence gap varies about as much as sampling noise, while across sources it spans -0.07 to +0.09, with knowledge tasks overconfident and acceptability judgements underconfident at all three sizes, so one fitted temperature cannot correct both. Second, the share of decisions that can be automated at a 5% error budget follows chance-corrected skill (Spearman 0.97 over 33 source and model pairs) more closely than raw accuracy (0.91). Third, reach beyond the training languages is set by the base model: across 210 languages, changing the training run moved scores by at most about 2 points within a size, while languages outside the base's documented list trail by 23 to 28 points at every size. On English public suites Zuse is behind Jev and Kev, including Kev models on the same bases. We also report two pitfalls in building multi-source training data: label-word collision between topic schemes, and an injection augmentation that taught a shortcut. Zuse can be tried at https://bineric.com/zuse.
- Abstract(参考訳): 決定モデルは文書を読み取って、テキストを生成する代わりに、固定されたオプションセットの確率を返す。
いくつかは2026年に登場したが、英語以外では発表されていない。
低ランクのアダプタとポインタヘッドをフリーズしたオープンウェイトベースでトレーニングし、27のヨーロッパ言語をターゲットにした3つの決定モデル(4B、9B、27B)について説明する。
9つのタスクグループと27の言語をカバーし、トレーニングから除外された11のソーススイートでは、モデル選択もガイドした開発セットで、27Bモデルは、プールされたキャリブレーション誤差0.016と0.035の精度で87.5%に達した。
これらの単系統の結果のポストホック解析は3つの結果をもたらす。
まず、26言語における並列読解とトピック項目において、信頼性の差はサンプリングノイズと同じくらいであり、ソース間では -0.07 から +0.09 の範囲であり、知識タスクの過信と受理性判断が3つのサイズすべてで過小評価されているため、いずれの温度も修正できない。
第2に、5%のエラー予算で自動化できる決定のシェアは、生の精度(0.91)よりも近い確率補正スキル(33のソースとモデルペアに対するSpearman 0.97)に従う。
第3に、トレーニング言語を越えた範囲は、ベースモデルによって設定されている: 210言語をまたいで、トレーニングの実行を1つのサイズ内で少なくとも2ポイント変更する一方、ベースにあるドキュメントリスト以外の言語は、各サイズで23から28ポイント変更する。
英語の公開スイートでは、ZuseがJevとKevの背後にいる。
また,マルチソーストレーニングデータ構築における落とし穴として,トピックスキーム間のラベルと単語の衝突と,ショートカットを指導するインジェクションの増大について報告する。
Zuseはhttps://bineric.com/zuse.comで試すことができる。
関連論文リスト
- XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages [0.00954904463032233]
XDecideBenchは、88,425のテキストと153,875の型付き質問を備えた122言語で9つのスイートのベンチマークである。
型付き決定のために微調整された3つのオープンモデルは、12言語すべてで構築されたQwenモデルを上回った。
5%のエラーを許容する英語データに設定された信頼しきい値が、XNLIのエラー率を超える。
論文 参考訳(メタデータ) (2026-11-01T00:11:15Z) - Multilingual GSM-Symbolic: What determines capability transfer across languages? [9.109101407022886]
我々は多言語GSM-Symbolicを用いて言語間能力伝達を評価する。
我々は,モデルのサイズ,言語資源レベル,推論,類型的距離など,能力の最大の決定要因を定量化する。
私たちの発見は、モデル開発者にとって重要な意味を持つ。
論文 参考訳(メタデータ) (2026-10-02T14:26:26Z) - Towards Typologically Aware Rescoring to Mitigate Unfaithfulness in Lower-Resource Languages [9.426642998924724]
多言語大言語モデルは、資源制約言語で非忠実な出力を生成する。
このような設定における不誠実さを軽減するため、我々は計算学的に軽量な補助モデルを用いて、より大きなアーキテクチャの出力を再評価する。
我々は,700MB未満のデータに対して,スクラッチから事前訓練した単言語4層BERTモデルにより,忠実な要約を88.33%の平均精度で識別可能であることを示した。
論文 参考訳(メタデータ) (2025-02-24T21:22:19Z) - DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。
エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
論文 参考訳(メタデータ) (2023-11-10T20:09:08Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳(メタデータ) (2021-12-20T16:52:35Z) - From Good to Best: Two-Stage Training for Cross-lingual Machine Reading
Comprehension [51.953428342923885]
モデル性能を向上させるための2段階のアプローチを開発する。
我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。
第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
論文 参考訳(メタデータ) (2021-12-09T07:31:15Z) - AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文 参考訳(メタデータ) (2021-04-18T05:32:28Z) - Learning to Learn Morphological Inflection for Resource-Poor Languages [105.11499402984482]
本稿では,メタラーニング問題として資源不足言語に対する形態的インフレクション(補題を表象形にマッピングする)の課題を提案する。
それぞれの言語を個別のタスクとして扱うことで、高速ソース言語からのデータを使ってモデルパラメータの集合を学習する。
3つのファミリーから29のターゲット言語を対象とする2つのモデルアーキテクチャの実験により、提案手法がすべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2020-04-28T05:13:17Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。