論文の概要: Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
- arxiv url: http://arxiv.org/abs/2609.36965v1
- Date: Tue, 29 Sep 2026 08:02:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.309054
- Title: Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
- Title（参考訳）: 中国-Jev:「システムワン」モデルを中国-言語タスクに導入
- Abstract要約: 本稿では,中国語推論のためのシステム1モデルである Chinese-Jev を紹介する。
我々のデータ処理プロトコルは、異種中国語のアノテーションを候補候補に対する確率的ターゲットに変換する。
効率的な推論を可能にするために、China-Jevはテキストエンコーディングのための軽量エンコーダのみのバックボーンを採用し、候補回答のスコアリングを学ぶ。
- 参考スコア（独自算出の注目度）: 97.8132340393094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: System One models such as Jev offer an efficient alternative to generative language models for tasks that require decisions rather than open-ended responses. However, existing Jev models exhibit limited Chinese-language decision accuracy, restricting their utility in both general and specialized settings. In this paper, we introduce Chinese-Jev, a System One model that addresses this gap through a unified data processing and training pipeline. Our data processing protocol converts heterogeneous Chinese-language annotations into probability targets over candidate options, enabling a shared training formulation across domains and question formats. To enable efficient inference, Chinese-Jev adopts a lightweight encoder-only backbone for text encoding and learns to score candidate answers through decision-oriented training. To address the misalignment between the pre-training distribution and downstream Chinese-language scenarios, we first train the model on a general-purpose corpus of 10 million examples, then fine-tune it separately for the medical, legal, and financial domains. To evaluate decision accuracy and calibration in both general and domain-specific Chinese-language settings, we introduce Chinese-Jev Bench (CJ-Bench). After first-stage pre-training, Chinese-Jev exceeds the accuracy of the closed-source Jev model by 1.24% on general-domain tasks while achieving a 20.3x speedup. Subsequent domain-specific fine-tuning yields a 4.0% accuracy improvement over Jev in medicine and achieves 92% of Jev's average accuracy across specialized domains, with a 17x speedup and an average latency of only 15 ms per example. We further demonstrate on-device deployment of an INT8-quantized model on mobile devices, achieving an inference latency of approximately 1.0 second per decision. The project is available at https://gulucaptain.github.io/Chinese-Jev/.
- Abstract（参考訳）: JevのようなSystem Oneモデルは、オープンな応答よりも決定を必要とするタスクに対して、生成言語モデルの効率的な代替手段を提供する。
しかし、既存のJevモデルは中国語による意思決定の精度が限られており、一般的な設定と特殊設定の両方で使用が制限されている。
本稿では,このギャップを統一したデータ処理とトレーニングパイプラインを通じて解決するシステム1モデルである Chinese-Jev を紹介する。
我々のデータ処理プロトコルは、異質な中国語のアノテーションを候補候補に対する確率的ターゲットに変換し、ドメインや質問形式間での共有トレーニングの定式化を可能にする。
効率的な推論を可能にするために、中国語-Jevはテキストエンコーディングのための軽量エンコーダのみのバックボーンを採用し、意思決定指向のトレーニングを通じて候補回答のスコアを学習する。
事前学習した分布と下流の中国語シナリオの相違に対処するため、まず1000万例の汎用コーパスでモデルをトレーニングし、医療、法律、金融の分野で個別に微調整する。
一般およびドメイン固有の中国語設定における判定精度と校正性を評価するため,中国語-Jev Bench(CJ-Bench)を導入する。
第一段階の事前訓練の後、チャイナ・ジェブは20.3倍のスピードアップを達成しながら、一般ドメインタスクにおいてクローズドソースのJevモデルの精度を1.24%上回る。
その後のドメイン固有の微調整により、医学におけるJevよりも4.0%精度が向上し、Jevの平均精度の92%が特定のドメインで達成され、17倍のスピードアップと平均遅延は15ミリ秒である。
さらに、デバイス上のINT8量子化モデルのオンデバイス展開を実演し、決定毎に約1.0秒の推論レイテンシを実現する。
このプロジェクトはhttps://gulucaptain.github.io/ Chinese-Jev/.comで入手できる。
関連論文リスト
- COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values [43.09443095372083]
高品質で大規模な中国の嗜好データセットであるCOIG-Pを紹介する。
これは、Chat、Code、Math、Logic、Nove、Roleの6つの異なるドメインにまたがる1009万の中国の好みペアで構成されている。
スコアリングにLLMを使用する場合のオーバーヘッドを軽減するため,COIG-Pを用いて8Bサイズの中国語リワードモデルを訓練した。
論文 参考訳（メタデータ） (2025-04-07T22:15:51Z) - Exploring Multiple Strategies to Improve Multilingual Coreference Resolution in CorefUD [0.8602553195689511]
我々はCorefUD 1.1データセットを利用した新しいエンドツーエンドのニューラルコア参照解決システムを提案する。
提案モデルは、標準のエンドツーエンドのニューラルコア参照解決システムに基づいている。
多様な言語文脈における性能向上のためのいくつかの拡張を提案する。
論文 参考訳（メタデータ） (2024-08-29T20:27:05Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese [55.95225353842118]
我々は中国語で画像とテキストのペアの大規模なデータセットを構築し、ほとんどのデータは公開データセットから取得する。
77～958万のパラメータにまたがる,複数サイズの中国製CLIPモデルを5種類開発している。
実験の結果,中国のCLIPはMUGE,Flickr30K-CN,COCO-CNの最先端性能を達成できた。
論文 参考訳（メタデータ） (2022-11-02T17:47:23Z) - Por Qu\'e N\~ao Utiliser Alla Spr{\aa}k? Mixed Training with Gradient
Optimization in Few-Shot Cross-Lingual Transfer [2.7213511121305465]
本研究では,ソースデータとターゲットデータの両方を学習する1ステップ混合学習手法を提案する。
我々は1つのモデルを使って全てのターゲット言語を同時に処理し、過度に言語固有のモデルを避ける。
提案手法は,全タスクの最先端性能と目標適応性能を高いマージンで向上させる。
論文 参考訳（メタデータ） (2022-04-29T04:05:02Z) - Wukong: 100 Million Large-scale Chinese Cross-modal Pre-training Dataset
and A Foundation Framework [99.38817546900405]
本稿では,異なるマルチモーダル事前学習手法のベンチマークを行うため,中国の大規模クロスモーダルデータセットを提案する。
Wukongという大規模な中国のクロスモーダルデータセットをリリースし、Webから1億の中国語画像テキストペアを格納しています。
論文 参考訳（メタデータ） (2022-02-14T14:37:15Z) - CLIN-X: pre-trained language models and a study on cross-task transfer
for concept extraction in the clinical domain [22.846469609263416]
事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。
本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。
本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
論文 参考訳（メタデータ） (2021-12-16T10:07:39Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Model Selection for Cross-Lingual Transfer [15.197350103781739]
本稿では,モデル選択のための機械学習手法を提案する。
大規模な実験では、この手法は205言語にわたる英語の検証データよりも優れたモデルを選択する。
論文 参考訳（メタデータ） (2020-10-13T02:36:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。