論文の概要: Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making
- arxiv url: http://arxiv.org/abs/2610.23170v2
- Date: Fri, 23 Oct 2026 16:14:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.17968
- Title: Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making
- Title(参考訳): 中国語決定:単一パス確率決定のための言語モデルの一家系
- Abstract要約: 中国語決定モデルのファミリーである中国語決定について述べる。
各質問は、共有された命令と候補のプロンプトにコンパイルされる。
単一のフォワードパスは、候補文字の最終配置ログを読み出し、有効なオプションでそれらを正規化する。
- 参考スコア(独自算出の注目度): 1.8430422880689117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many language-based applications need a probability distribution over a small set of decisions rather than an open-ended response. We present Chinese Decision, a family of Chinese-language decision models that adapts pretrained causal language models to this interface. Each question is compiled into a shared instruction-and-candidate prompt; a single forward pass reads the final-position logits of the candidate letters and normalizes them over the valid options, without autoregressive answer generation. The interface covers Boolean judgments, categorical choices, and ordinal scores. We report three completed members built on Qwen3.5 0.8B, 2B, and 4B backbones, each trained for one epoch on the same 13.048 million decisions and released with a validation-fitted temperature and a Q8_0 quantization. On the full 307,900-decision CJ-Bench, the 4B model reaches 85.97% overall accuracy, 75.69% general-domain accuracy, and 84.00% average accuracy across medicine, law, and finance with a single checkpoint, above every reported baseline in each domain, at 1.00% expected calibration error. Between the 2B and 4B members, which share data, objective, and minimum batch, parent-clustered paired bootstrap intervals show gains in all four domains, largest in the two low-resource domains (+8.5 and +7.1 points), whereas the 2B gain over 0.8B in law is not statistically resolved. Analyses of the stored predictions further show that a single global temperature lowers pooled calibration error while worsening some domains, that larger members rank their own errors better for selective prediction, and that merging and quantization each change 0.4-1.1% of top-1 predictions while leaving aggregate metrics nearly unchanged. All comparisons rest on single training runs and imported baselines.
- Abstract(参考訳): 多くの言語ベースのアプリケーションは、オープンな応答ではなく、小さな決定セットに対して確率分布を必要とする。
我々は、このインターフェースに事前訓練された因果的言語モデルを適用する中国語決定モデルのファミリーである中国語決定を提示する。
各質問は共有命令と候補のプロンプトにコンパイルされ、単一のフォワードパスが候補文字の最終配置ログを読み出し、自動回帰応答生成なしで有効オプション上で正規化する。
インターフェースはブール判断、カテゴリー選択、順序スコアをカバーしている。
我々は,Qwen3.5 0.8B,2B,4Bのバックボーン上に構築された3つの完成部材について報告する。
完全な307,900-decision CJ-Benchでは、4Bモデル全体の精度が85.97%、一般ドメインの精度が75.69%、医療、法律、ファイナンスの平均精度が84.00%に達している。
データ、目的、最小バッチを共有する2Bと4Bのメンバーの間では、親クラスタ化されたペアリングブートストラップ間隔は、2つの低リソースドメイン(+8.5および+7.1ポイント)で最大である4つのドメインすべてで利得を示すが、法で2Bは0.8Bを超える利得は統計的に解決されていない。
蓄積された予測の分析により、単一の大域的な温度がキャリブレーション誤差を低下させ、いくつかのドメインを悪化させ、より大きなメンバーが選択的な予測のために自分自身のエラーをランク付けし、それぞれのマージと量子化がトップ1予測の0.4-1.1%に変化し、集計値はほぼ変化しないことを示した。
すべての比較は、単一のトレーニングランと輸入ベースラインに依存します。
関連論文リスト
- Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling [26.882267847221353]
Intern-Decisionは0.8B、2B、4Bマルチモーダル決定モデルである。
我々の自己回帰型マスキング言語は、フィールドごとに1つの決定的プレースホルダーを完全なアシスタントスケルトンに配置する。
結果は、より大きなエージェントシステムの実用的なコンポーネントとして、コンパクトな決定モデルをサポートする。
論文 参考訳(メタデータ) (2026-10-15T16:05:48Z) - Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。
まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。
推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
論文 参考訳(メタデータ) (2026-10-11T10:04:59Z) - Semi-Automatic Quantification of Bayesian Networks for Software Decision Support: Comparing WSA and RNM in a Software R&D Organization [1.723850585687833]
半自動的手法は直接の推論を減少させるが、実践者は運用上の決定プロセスから比較した証拠はほとんどない。
我々は、重み付きSum Algorithm (WSA) と Ranked Nodes Method (RNM) を2つの文脈で完全なElicitation-and-quantificationパイプラインとして比較する。
論文 参考訳(メタデータ) (2026-09-25T13:49:10Z) - Auditing System-1 Models on Biosecurity-Relevant Benchmarks: Calibration, Selective Prediction, and Permutation Instability in a Non-Generative Model [0.0]
System-1"モデルは、自己回帰復号化なしで単一の前方パスで構造化された確率的決定を返す。
精度,キャリブレーション,エラー検出,選択予測,および解答オプションが提示される順序に対する感度を測定する。
回転の平均確率は、WMDP-Cyberの精度を3.8ポイント向上させる。
論文 参考訳(メタデータ) (2026-09-24T18:46:53Z) - Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。
我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
論文 参考訳(メタデータ) (2026-09-21T16:48:50Z) - Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。
我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文 参考訳(メタデータ) (2025-10-16T12:23:13Z) - A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。
すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳(メタデータ) (2024-10-04T15:44:23Z) - Reconciling Model Multiplicity for Downstream Decision Making [24.335927243672952]
2つの予測モデルがほぼ至るところでそれぞれの予測にほぼ一致しているとしても、最も応答性の高い行動が人口のかなりの部分で相違していることが示される。
本稿では,下流決定問題と個別確率予測の両方に関して,予測モデルを校正する枠組みを提案する。
論文 参考訳(メタデータ) (2024-05-30T03:36:46Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。