論文の概要: CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening

• arxiv url: http://arxiv.org/abs/2610.02972v1
• Date: Fri, 02 Oct 2026 08:06:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.274891
• Title: CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening
• Title（参考訳）: CreateScore: LLMベースのCVスクリーニングのためのドメイン理論インフォームドベイズルーティング
• Abstract要約: 提案するCreateScoreは、基準レベルLLMルーティングのためのドメイン理論インフォームドベイズネットワークである。 ディリクレ・マルチノミカル条件付き確率表を持つグラフは、CV証拠を後続の不確実性に変換する。 低不確実性判定は局所8Bモデルによって解決され、不確実性判定は120B参照モデルにエスカレーションされる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can support rubric-based screening of CVs, but applying a high-capability model to every candidate and criterion is costly. We present CreateScore, a domain-theory-informed Bayesian network for criterion-level LLM routing. A hand-specified directed acyclic graph with Dirichlet-multinomial conditional probability tables converts CV evidence into posterior uncertainty; low-uncertainty decisions are resolved by a local 8B model and uncertain ones are escalated to a 120B reference model. The graph is causally motivated, but the system performs standard Bayesian conditioning, not causal inference. The escalation threshold is calibrated on a training fold (target: 70% resolved locally) and then frozen. On 200 synthetic Data Science CVs (139 training and 61 test candidates, five criteria), 77.7% of criterion decisions were resolved locally (237 of 305). Relative to a reference condition in which the 120B model adjudicated every criterion, routed escalation reduced token use by 65.2% and raised exact score agreement from 32.8% (8B alone) to 42.6% (95% CI 31.0-55.1%); at n = 61 the gain was not statistically distinguishable. The uncertainty signal did not, however, identify the decisions on which the 8B model erred: disagreement with the reference was 16.2% among escalated and 19.4% among locally resolved decisions (AUROC 0.47, 95% CI 0.39-0.56), no better than random selection. We also document how an earlier evaluation was invalidated when truncated reasoning-model outputs were silently replaced by local labels, and we recommend safeguards for cascade evaluation. CreateScore is supported as an auditable cost-reduction mechanism, not yet as a targeted error detector, and is not an autonomous hiring system.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、CVのルーリックベースのスクリーニングをサポートするが、すべての候補に高機能モデルを適用することはコストがかかる。 提案するCreateScoreは、基準レベルLLMルーティングのためのドメイン理論インフォームドベイズネットワークである。 ディリクレ・マルチノミカル条件付き非巡回グラフはCVエビデンスを後続の不確実性に変換するが、低不確実性判定は局所8Bモデルにより解決され、不確実性判定は120B参照モデルにエスカレートされる。 グラフは因果的動機付けであるが、このシステムは因果推論ではなく標準的なベイズ条件付けを実行する。 エスカレーション閾値はトレーニングフォールド(目標:70%が局所的に解決)で調整され、凍結される。 200基の合成データサイエンスCV(訓練139基、試験候補61基、5基準)では、基準決定の77.7%が局所的に解決された(305の237基)。 120Bモデルが全ての基準を順守し、ルートエスカレーションによりトークンの使用量が65.2%減少し、正確なスコア合意が32.8%(8Bのみ)から42.6%(95% CI 31.0-55.1%)に引き上げられた基準条件に対して、n = 61では利得は統計的に区別できない。 しかし、不確実性信号は、8Bモデルが実行した決定を識別しなかった: 基準との一致は16.2%で、局所的な決定(AUROC 0.47, 95% CI 0.39-0.56)は19.4%であり、ランダム選択に勝るものではない。 また,停止した推論モデル出力をローカルラベルに無声で置き換えた場合に,事前評価が無効になったことを報告し,カスケード評価のための安全ガードを推奨する。 CreateScoreは監査可能なコスト削減メカニズムとしてサポートされており、ターゲットとなるエラー検出装置としてはまだサポートされておらず、自律的な採用システムではない。

関連論文リスト

• Benchmarking Candidate Coverage in Typed Decision Models [7.736174008951463]
  本稿では,AG News, DBpedia, Emotion, TRECにまたがる候補被覆ベンチマークプロトコルと, Laya と Jev の初期評価について述べる。 本稿では,AG News, DBpedia, Emotion, TRECにまたがる候補被覆ベンチマークプロトコルと, Laya と Jev の初期評価について述べる。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
  AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。 AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。 RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
  論文  参考訳（メタデータ） (2026-10-01T07:24:04Z)
• Reliability-Aware Checkpoint Selection for Domain Generalization [40.17114894052837]
  精度制約付き信頼性選択(AC)について検討する。 ACは、最適なソースバリデーション精度の許容範囲内にチェックポイントを保持し、ソース信頼性でランク付けする。 ACは目標データを使用しず、追加のトレーニングも重量平均化も必要としない。
  論文  参考訳（メタデータ） (2026-09-30T15:17:32Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• Training-Free Model Selection and Domain-Aware Score Calibration for First-Shot Anomalous Sound Detection [0.12691047660244334]
  DCASE Challenge Task 2における1発の異常音検出は、未確認の機械の異常を1つの閾値で警告しなければならない。 ソースドメインとターゲットドメインのAUCはシステム間で負の相関を持ち、開発セットの性能は評価セットのパフォーマンスを予測しない。 凍結したオーディオ埋め込みの上に、トレーニング不要のポストホック層で対処する。
  論文  参考訳（メタデータ） (2026-07-05T22:22:31Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
  RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。 40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
  論文  参考訳（メタデータ） (2026-03-25T09:35:15Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
  現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。 我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
  論文  参考訳（メタデータ） (2025-10-16T12:23:13Z)
• Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
  大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。 モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。 計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
  論文  参考訳（メタデータ） (2025-06-13T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。