Chinese-Jev: Bringing System One Model to Chinese-Language Tasks
Abstractの概要
Chinese-Jevは、選択肢選択、命題判断、順序スコアリングなどの限定的な意思決定タスク向けに設計された中国語のSystem Oneモデルです。著者らは、異質な中国語アノテーションを候補選択肢上の確率ターゲットへと変換する統合パイプラインを開発し、汎用タスクおよびドメイン特化タスク全体で共有される学習定式化を実現しています。意思決定重視の候補スコアリングを備えた軽量なエンコーダのみのバックボーンに基づいて構築された本モデルは、1000万件の一般的なコーパスで広範な中国語事前学習を行った後、医療、法学、金融の各ドメイン向けに独立してファインチューニングされます。また本論文では、汎用および専門的な中国語環境における307,900件の意思決定を含み、精度、キャリブレーション、レイテンシを評価するためのホールドアウトベンチマークであるCJ-Benchを提案しています。
新規性
本論文は、多様なアノテーションを選択、命題判断、スコアの各タスクにわたる候補確率ターゲットに変換する統合された教師ありフォーマットを介して、System Oneの意思決定パラダイムを中国語タスクに適応させています。これは、効率的なエンコーダのみの候補スコアリングアーキテクチャ、汎用から専門モデルへの2段階学習パイプライン、および専用のマルチドメイン評価ベンチマークと組み合わされています。
成果
CJ-Benchの汎用サブセットにおいて、Chinese-Jev Generalは69.20%の精度と3.78%のECEを達成し、報告された構成において測定レイテンシを20.3倍低減しつつ、ホスト型Jev APIの精度を上回りました。ドメイン特化型のファインチューニングにより専門ドメインの平均精度は37.97%から70.82%に向上し、医療専門モデルは87.65%の精度を達成（Jevを相対的に4.0%上回る）したほか、各専門モデルは中央値15ミリ秒のレイテンシでJevの精度の平均92.0%に達しました。さらに、INT8量子化されたブラウザ展開により、iPhone 15 Pro上で意思決定あたり約1秒でのローカル実行が実証されています。
論文の注目点
- 統合データ構築パイプラインにより、異質な中国語アノテーションを選択・命題判断・スコアの各意思決定タイプにおける候補選択肢の確率分布へと変換します。
- 意思決定の精度、期待キャリブレーション誤差（ECE）、推論レイテンシを評価するため、汎用・医療・法学・金融の各タスクを網羅する307,900件の意思決定ベンチマーク「CJ-Bench」を導入しています。
- Chinese-Jevは、低い推論レイテンシで従来のベースラインと比較して競争力のある精度と改善されたキャリブレーションを達成し、INT8量子化によるモバイル端末上でのローカル実行をサポートします。
参考リンク
- arXiv: https://arxiv.org/abs/2609.36965v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.36965v1
- Hugging Face Papers: https://huggingface.co/papers/2609.36965
- Project: https://gulucaptain.github.io/Chinese-Jev/