論文の概要: InsClaimBench: Benchmarking Insurance Claim Adjudication Across the Decision Chain

• arxiv url: http://arxiv.org/abs/2610.09671v1
• Date: Wed, 07 Oct 2026 08:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.807212
• Title: InsClaimBench: Benchmarking Insurance Claim Adjudication Across the Decision Chain
• Title（参考訳）: InsClaimBench: 決定連鎖全体にわたる保険請求の判断のベンチマーク
• Abstract要約: InsClaimBenchは、意思決定チェーン全体で保険請求の判断を評価するためのエンドツーエンドのベンチマークである。 それは、各クレームを、判断と金額の支払いのための判断モジュールを通じて、原子規則から評価する。 6つの大きな言語モデルの評価は、決定連鎖に沿って信頼性が徐々に低下していることを明らかにする。
• 参考スコア（独自算出の注目度）: 8.478567992957428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in reasoning-oriented large language models (LLMs) have motivated increasing evaluation of their ability to perform professional decision tasks. Insurance claim adjudication is one such task, requiring models to connect case evidence, insurance rules, intermediate judgments, and payout calculations across a structured decision process. We introduce InsClaimBench, an end-to-end benchmark for evaluating insurance claim adjudication across the decision chain. Grounded in real claim materials and structured insurance rules, InsClaimBench contains 3,780 cases in 375 case families across auto, property, and health insurance, comprising 86,656 atomic rule judgments. It evaluates each claim from atomic rules through adjudication modules to payout decisions and amounts, with controlled factual variants testing whether required changes are correctly propagated across levels. Evaluation of six LLMs reveals a progressive loss of reliability along the decision chain. Payout-decision accuracy ranges from 74.23--80.19%, while joint decision--amount accuracy drops to 47.54--73.15%. Strong local performance also fails to ensure case-level correctness: atomic-rule accuracy reaches 95.48%, whereas rule-vector exact match peaks at only 36.90%, and the most frequent module errors are not necessarily those most associated with final-decision failure. Under factual changes, these inconsistencies further become propagation failures: module updates are less reliable than rule updates, correct local judgments can still yield incorrect payouts, and correct payouts can conceal intermediate errors. These results show that reliable claim adjudication requires consistent composition and propagation across the decision chain.
• Abstract（参考訳）: 推論指向の大規模言語モデル(LLM)の最近の進歩は、プロの意思決定タスクを実行する能力を評価する動機となっている。 保険請求の仲裁は、ケースエビデンス、保険規則、中間判断、支払い計算を構造化された決定プロセスで接続するモデルを必要とする。 InsClaimBenchは、意思決定チェーン全体にわたる保険請求の弁済を評価するエンドツーエンドのベンチマークである。 InsClaimBenchには、自動車、不動産、健康保険の375件の3,780件のケースがあり、86,656件の原子ルールの判断がある。 各クレームは、各クレームを、判断と金額の支払いモジュールを通じて原子規則から評価し、必要な変更が複数のレベルにわたって正しく伝播されるかどうかを、制御された事実的変種で検証する。 6つのLCMの評価は、決定連鎖に沿った信頼性の低下が進行していることを示している。 支払い精度は74.23--80.19%、共同決定精度は47.54--73.15%である。 原子ルールの精度は95.48%に達するのに対し、ルールベクトルの正確な一致ピークは36.90%であり、最も頻繁なモジュールエラーは最終決定失敗に最も関係しているものではない。 モジュール更新はルール更新よりも信頼性が低く、適切なローカル判断は依然として不正な支払いを発生させ、正しい支払いは中間エラーを隠蔽する。 これらの結果は、信頼できるクレームの偏見は、決定連鎖を横断する一貫した構成と伝播を必要とすることを示している。

関連論文リスト

• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• No Judgment Without a Reason: Counterfactual Receipts for Versioned AI Evaluators [10.23869027501654]
  評価者はしばしば、欠陥のある推論、エージェントシステムの致命的な失敗、レビューのルーティング、トレーニングフィードバックの提供を通じて、正しいラベルを生成する。 根拠,規範,権威の3つのコアソースを通じて,評価者による説明責任の定式化を行う。これらのソースを評価すれば,判断更新を特徴付ける8セルの逆実判定キューブが得られる。 信頼に値する評価のための標準精度とともに、予測と認定を分離し、変換の一貫性を報告しなければならない。
  論文  参考訳（メタデータ） (2026-08-21T10:01:58Z)
• DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making [0.7699235580548228]
  DFAH-Benchは、金融業者の意思決定における観測可能な行動不安定性を測定するリプレイベンチマークである。 同じツールパスに従っている間、フロンティアモデルは95%の時間で決定に合意できるのは77%に過ぎません。 入力によらず1つの出力に崩壊することでほぼ完全な一致を達成できるパターンマッチング,比較的一貫したツール使用プロセスを持つ安定した実行器,そして物質的に異なるツールパスとエビデンスコンタクトを通じて同じ結論に達する軌道分岐器の3つの挙動プロファイルを同定する。
  論文  参考訳（メタデータ） (2026-06-10T03:31:09Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
  大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。 モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。 計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
  論文  参考訳（メタデータ） (2025-06-13T17:59:10Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。