論文の概要: Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority

• arxiv url: http://arxiv.org/abs/2610.29961v1
• Date: Wed, 21 Oct 2026 16:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.403957
• Title: Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority
• Title（参考訳）: コミットの有無 : システム1決定モデル, LLM, 失効法当局
• Abstract要約: システム1決定モデルは、大きな言語モデルに基づいて構築されるが、テキストを生成する代わりに、各オプションのキャリブレーションされた確率を返す。 正しい権威が欠如している場合、そのようなモデルが不在かどうかをテストする。 法的なAIは、正確性だけでではなく、間違った引用によって判断されるべきである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the enormous number of claims to be checked, verifiable legal AI requires scalable, cost-effective models that answer the practical needs of law. System One decision models are built on large language models but, instead of generating text, return a calibrated probability for each option. This suits the verification of legal authority, where the question is closed: a given holding, or none of them. We test whether such models abstain when the correct authority is missing. We extend CaseHOLD with an abstention condition in which the correct holding is replaced in 1,670 of 5,314 items, and compare four decision models with six generative LLMs. When no option is correct, generative LLMs still pick one in 38-86% of items; the most cautious decision model does so in 30%. On standard CaseHOLD, a decision model matches the best generative LLM (88.1% vs. 88.2%) at 1/55 of the cost. Accepting that LLM's answer only when a decision model agrees halves its wrong citations, and distilling a decision model's probabilities into Qwen3-8B, without labels, yields a well-calibrated local model. Legal AI should be judged by its wrong citations, not by accuracy alone.
• Abstract（参考訳）: チェックすべきクレームの膨大な数を考えると、検証可能な法的AIには、法律の実践的ニーズに答えるスケーラブルで費用対効果の高いモデルが必要です。 システム1決定モデルは、大きな言語モデルに基づいて構築されるが、テキストを生成する代わりに、各オプションのキャリブレーションされた確率を返す。 これは、質問がクローズされた法的権限の検証に適合する。 正しい権威が欠如している場合、そのようなモデルが不在かどうかをテストする。 我々は,5,314項目のうち1,670項目で正しい保持を置き換える禁断条件でCaseHOLDを拡張し,4つの決定モデルと6つの生成LDMを比較した。 選択肢がない場合、生成LDMは38～86%の項目で1つを選択する。 標準のCaseHOLDでは、決定モデルはコストの1/55で最高の生成LDM(88.1%対88.2%)と一致する。 LLMの答えは、決定モデルがその間違った引用を半分にすることでのみ受け入れられ、決定モデルの確率をラベルなしでQwen3-8Bに蒸留すると、よく校正された局所モデルが得られる。 法的なAIは、正確性だけでではなく、間違った引用によって判断されるべきである。

関連論文リスト

• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• System1-Arena: Which Decisions Can Be Left to System 1? [72.4486135716456]
  大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。 System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。 テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループである。
  論文  参考訳（メタデータ） (2026-10-15T04:40:47Z)
• Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
  1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。 タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。 その結果、自動決定ゲートの条件依存ルールが得られる。
  論文  参考訳（メタデータ） (2026-09-29T19:57:59Z)
• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics [15.233613140316791]
  SemVerBenchは、3つのエコシステムにわたるバージョン制約解決セマンティクスの最初のベンチマークである。 6つのフロンティアモデルを評価し,統計的に有意な自己評価は得られなかった。 タスクが検証可能で、100%正しいリゾルバが存在するため、ツールデリゲートは100%に達する。
  論文  参考訳（メタデータ） (2026-09-10T07:34:44Z)
• LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
  モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。 パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。 3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
  論文  参考訳（メタデータ） (2026-07-11T05:57:54Z)
• Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
  制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。 微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。 本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T01:55:00Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。