論文の概要: Calibrated Decisions at Scale: Converting Police Crash Narratives into Probabilistic Crash Variables with a System One Model (Jev)
- arxiv url: http://arxiv.org/abs/2609.24052v1
- Date: Mon, 21 Sep 2026 03:24:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.047467
- Title: Calibrated Decisions at Scale: Converting Police Crash Narratives into Probabilistic Crash Variables with a System One Model (Jev)
- Title（参考訳）: スケールでの校正決定: 警察のクラッシュ・ナラティブをシステム・ワン・モデル(Jev)による確率的クラッシュ・変数に変換する
- Abstract要約: 本稿では,Jev が回答した有格な型付き決定文として,ナラティブコーディングを定式化する。
499,500件のテキサスの物語と195,857件が27問のスキーマで書かれた。
- 参考スコア（独自算出の注目度）: 1.089614199781423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Crash datasets that carry an investigator narrative hold information the coded fields omit. Coding those narratives at scale has been blocked by three obstacles. Frontier large language models are costly at that scale, their generated text cannot be verified, and no rule says how much output a human must check. This paper formulates narrative coding as gated, typed decisions answered by Jev, a System One model that returns probabilities over analyst-defined options and generates no text. A screen covered 499,500 Texas narratives and 195,857 were coded with a 27-question schema. Cost is governed by schema size rather than narrative length. The probabilities are audited against coded fields and against 2,416 blinded human judgments drawn under a stated sampling design. Two frontier large language models are benchmarked on the same records. Against human labels the typed model attains an F1 of 0.908. One frontier model gains 0.059 and the other is indistinguishable from it. Calibration varies by model rather than by paradigm, so each model must be audited. Recalibration on the same labels reduces calibration error by a factor of 3.3. Agreement with coded fields understates fidelity to the narrative by a median of 0.26 in kappa. A resolution-floor bound covers any model that reports probabilities on a discrete grid. A review budget over flagged records gives the records a human must read per variable and per year. Adding the calibrated variables to the coded fields raises the injury and fatal crashes attributed to nine factors by 10,747 per year.
- Abstract（参考訳）: 調査員の物語を運ぶクラッシュデータセットは、符号化されたフィールドの省略に関する情報を保持する。
これらの物語を大規模にコーディングすることは、3つの障害によってブロックされている。
最前線の大規模言語モデルは、その規模でコストがかかり、生成されたテキストは検証できない。
本稿では、アナリスト定義オプションの確率を返却し、テキストを生成しないシステム1モデルであるJevが回答した有言型意思決定として、物語符号化を定式化する。
499,500件のテキサスの物語と195,857件が27問のスキーマで書かれた。
コストは物語の長さではなく、スキーマのサイズによって管理される。
これらの確率は、コード化されたフィールドと、前述のサンプリング設計の下で引き出された2,416人の盲目の人間の判断に対して監査される。
2つのフロンティア大言語モデルは、同じレコード上でベンチマークされる。
ヒトのラベルに対して、型付きモデルは0.908のF1に達する。
1つのフロンティアモデルは0.059となり、もう1つは区別できない。
キャリブレーションはパラダイムではなくモデルによって異なり、それぞれのモデルを監査する必要がある。
同じラベルの校正は校正誤差を3.3倍に削減する。
符号化されたフィールドとの合意は、物語に対する忠実さをカッパにおける0.26の中央値で表している。
分解床境界は、離散格子上の確率を報告する任意のモデルをカバーする。
フラグ付きレコードに対する審査予算は、人間が変数ごとに、そして年毎に読み取らなければならない記録を与える。
校正された変数を符号化されたフィールドに加えると、負傷と致命的なクラッシュは年間10,747個の要因によって引き起こされる。
関連論文リスト
- Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。
我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
論文 参考訳（メタデータ） (2026-09-21T16:48:50Z) - A Calibrated Instrument for Measuring How Inference Optimizations Affect Output Quality [0.0]
大規模言語モデルの最適化は活発な研究領域であり、モデルの重みの量子化、層をスキップする早期排他法、投機的復号化にまたがる。
本稿では,クロスシステムおよびクロス技術比較に適した出力品質測定のための厳密な手法を提案する。
論文 参考訳（メタデータ） (2026-09-16T01:49:12Z) - Calibrating Interpretability Instruments Before Trusting Their Verdicts [1.0829694003408499]
Causal氏は、大きな言語モデル(LLM)の内部は測定にかかっていると主張している。
これらの測定は、エラーではなく可算数を返す特定の診断可能な方法で失敗する。
このノートは、拒絶と道徳的表現に関する因果的解釈可能性プログラムの6つの失敗を文書化している。
論文 参考訳（メタデータ） (2026-09-13T19:37:02Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳（メタデータ） (2026-08-30T10:21:34Z) - Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation [8.970269049715933]
最近の研究は、複雑なモデルが自身の内部を監査し、何を変えたかを呼び出して、自信を持って報告できることを示している。
われわれはこの主張を7家族の8つのオープンウェイトモデルで検証し、そのような能力は見つからなかった。
テストのためにOpen-Weight Masked Introspection (OWMI)というフレームワークを開発しました。
論文 参考訳（メタデータ） (2026-08-20T21:09:50Z) - ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models [0.0]
幻覚ベンチマークは、単一のエラーカウントを報告し、すべてのエラーを同等として扱うが、間違った日付と偽の裁判所判決は、桁違いに異なる。
Errorquake-10kは、8つのドメインと5つの難易度からなる連続的な0-4重度尺度で各応答をスコアするベンチマークである。
論文 参考訳（メタデータ） (2026-04-15T09:22:46Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳（メタデータ） (2026-03-22T21:50:28Z) - On the Entropy Calibration of Language Models [52.47557449370603]
本研究では,言語モデルのエントロピーが人間のテキスト上でのログ損失と一致しているかを問うエントロピーキャリブレーションの問題について検討する。
観測されたスケーリングの挙動は、単純化された設定によって予測されるものと類似していることがわかった。
将来的なテキストのエントロピーを予測するために,モデルに適合するブラックボックスへのアクセスを前提にすれば,それが可能であることが証明できる。
論文 参考訳（メタデータ） (2025-11-15T00:33:03Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳（メタデータ） (2023-06-19T18:48:15Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。