論文の概要: Knowing the Rules, Applying the Rules: Evaluating Language Models on Traditional Chinese Bazi
- arxiv url: http://arxiv.org/abs/2610.05682v1
- Date: Mon, 05 Oct 2026 01:50:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 12:05:49.30848
- Title: Knowing the Rules, Applying the Rules: Evaluating Language Models on Traditional Chinese Bazi
- Title（参考訳）: ルールの理解とルールの適用:中国伝統バチにおける言語モデルの評価
- Abstract要約: ドメイン・ルールを知ることはケースに適用することを保証しません。
従来の中国語のバチ語では、3000の中国語の多重選択質問を通してこの区別を研究している。
理論精度はあらゆるシステムのケース精度を超える。
- 参考スコア（独自算出の注目度）: 3.9284118537921273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowing domain rules does not guarantee applying them to a case. We study this distinction in traditional Chinese Bazi through 3,000 Chinese multiple-choice questions spanning 14 Theory and 11 Case categories. Six endpoint systems are evaluated, with primary results reported on a 2,492-item model-informed refinement. Theory accuracy exceeds Case accuracy for every system, and gaps of 16.60-29.56 percentage points remain when invalid responses are excluded. The contrast is more specific than a general case-reasoning deficit. Across six systems, Twelve Stages and Nayin reach mean accuracies of 89.10% and 88.62%, while Shensha Basics reaches 75.96%. Within Case, Luck Pillars averages 84.62%, but Career and Family Relations average only 36.98% and 38.19%. Overall rankings also conceal different category strengths. On the original 3,000 items, paired DeepSeek native/disabled comparisons associate native configurations with Theory gains of 6.53 and 12.20 points for Flash and Pro, respectively; Case changes are -3.67 and +1.27 points. These are provider-configuration associations, not isolated causal effects of reasoning. The results motivate task-specific evaluation of cultural-domain applications rather than reliance on aggregate knowledge scores. The benchmark measures agreement with a model-generated, model-verified answer key, not real-world predictive validity. Final-set results are post-selection descriptions, and incomplete provenance and expert validation constrain their interpretation.
- Abstract（参考訳）: ドメイン・ルールを知ることはケースに適用することを保証しません。
従来の中国語のバチ語では、14理論と11事例にまたがる3000の中国語の多重選択質問を通して、この区別について研究する。
6つのエンドポイントシステムを評価し, 2,492 item モデルインフォームド・リファインメントの結果を報告する。
理論精度は全てのシステムのケース精度を超え、16.60-29.56パーセントのギャップは、無効な応答が除外されたときに残る。
コントラストは一般的なケース推論障害よりも具体的です。
6つのシステムで12ステージとネイインが89.10%、88.62%、シンシャ・ベーシックズが75.96%に達する。
ケース内のラッキー・ピラーズの平均は84.62%であるが、キャリアと家族関係の平均は36.98%と38.19%である。
ランキングは異なるカテゴリーの強さを隠蔽する。
オリジナルの3,000項目では、DeepSeekのネイティブ/無効比較とネイティブ設定を関連付け、それぞれ6.53ポイントと12.20ポイントのFlashとProでそれぞれ比較した。
これらはプロバイダ・コンフィグレーション・アソシエーションであり、推論の孤立した因果効果ではない。
その結果、総合的な知識スコアに頼るのではなく、タスク固有の文化ドメインアプリケーションの評価が動機となった。
このベンチマークは、実際の予測妥当性ではなく、モデル生成されたモデル検証された回答キーとの一致を測定する。
最終セットの結果は選択後の記述であり、未完成の証明と専門家による検証は解釈を制約する。
関連論文リスト
- Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳（メタデータ） (2026-08-21T20:06:08Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。
GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
論文 参考訳（メタデータ） (2026-05-27T18:59:18Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。
BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
論文 参考訳（メタデータ） (2026-03-16T02:50:43Z) - Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。
我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文 参考訳（メタデータ） (2025-10-16T12:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。