論文の概要: Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding

• arxiv url: http://arxiv.org/abs/2609.27678v1
• Date: Wed, 23 Sep 2026 10:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.981167
• Title: Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding
• Title（参考訳）: 同じスコアと異なる決定:法的文書理解のためのJEVと言語モデルの評価
• Abstract要約: 私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
• 参考スコア（独自算出の注目度）: 65.85599131866623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contract inference requires multiple judgments about a shared document, but aggregate accuracy can conceal changes in the individual decisions. Repeated agreement is also insufficient: a model may consistently return the wrong answer. In this paper, we compare Jev with nine language models on ContractNLI, evaluating inference cost, response time, average correctness, and correctness across repeated request conditions. Controlled comparisons vary hypothesis visibility, requested outputs, and output order while keeping the contract and target judgment fixed. Jev has the lowest cost and median response time among the evaluated configurations, while hosted language models achieve higher baseline accuracy. Rankings by baseline accuracy differ from rankings by correctness across every condition and repeat, although small differences in the latter do not establish a general stability advantage. Development diagnostics further reveal compensating corrections and regressions, as well as persistent errors. These findings motivate evaluating cost and response time alongside whether individual judgments remain correct as the request configuration changes. Code: https://github.com/ZF-Utokyo/Jev-Benchmark
• Abstract（参考訳）: 契約推論は共有ドキュメントに関する複数の判断を必要とするが、集計精度は個々の決定の変化を隠蔽することができる。 モデルは常に間違った回答を返すことができる。 本稿では、JevとContractNLIの9つの言語モデルを比較し、繰り返し要求条件における推論コスト、応答時間、平均精度、正確性を評価する。 制御された比較では、仮説の可視性、要求された出力、および出力順序が異なり、契約とターゲットの判断は固定される。 Jevは評価された構成の中で最低コストと中央値の応答時間を持ち、ホスト言語モデルはより高いベースライン精度を達成する。 基準精度によるランク付けは、すべての条件と繰り返しの正確さによるランク付けとは異なるが、後者の小さな違いは一般的な安定性の優位性を確立していない。 開発診断はさらに、補正と回帰、そして永続的なエラーを明らかにしている。 これらの知見は,要求構成が変化しても個々の判断が正しいかどうかとともに,コストと応答時間を評価する動機となった。 コード:https://github.com/ZF-Utokyo/Jev-Benchmark

関連論文リスト

• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• Which LLM for Which Work? Budgeted Model Allocation under Uncertain Evaluation [13.385373310554327]
  証拠と整合したすべての品質表で、1つの代入が最適かどうかを問う。 固定予算問題に対して、これは正確に2つの解決証明書を付与する: 推定テーブルで1回、最低テーブルで1回解決する。
  論文  参考訳（メタデータ） (2026-08-30T05:00:43Z)
• What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks [25.519850997497283]
  短解VQAベンチマークは2つの異なる量を説明する。 我々は、人間公認のセマンティック・ジャッジを使用して37k以上の公式エラーを監査する。
  論文  参考訳（メタデータ） (2026-07-11T10:01:29Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
  我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。 推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。 我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
  論文  参考訳（メタデータ） (2026-02-10T14:09:18Z)
• EigenBench: A Comparative Behavioral Measure of Value Alignment [0.28707625120094377]
  EigenBenchは、言語モデルの値をベンチマークするためのブラックボックスメソッドである。 合理的な判断者が正しいラベルに同意できない主観的な特性を定量化するように設計されている。 GPQAベンチマークのモデルランキングを、客観的ラベルにアクセスすることなく復元することができる。
  論文  参考訳（メタデータ） (2025-09-02T04:14:26Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback [70.44530794897861]
  Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。 既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。 そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T10:42:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。