論文の概要: LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI
- arxiv url: http://arxiv.org/abs/2606.18021v1
- Date: Tue, 16 Jun 2026 15:02:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.499579
- Title: LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI
- Title（参考訳）: LegalHalluLens: 信頼できる法AIのためのマルチエージェント議論を監査し、校正するタイプド・ハロシン化
- Authors: Lalit Yadav, Akshaj Gurugubelli,
- Abstract要約: LegalHalluLensは、法的なAIの監査フレームワークである。
型付きプロファイルと、メトリクスを集約するRDIサーフェス障害モードが隠れています。
このフレームワークは、方向対応の調達、説明責任、エージェント設計をサポートする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems deployed in legal workflows hallucinate at rates that aggregate metrics report at ~52%, but this average conceals where errors concentrate and in which direction they run, leaving compliance officers without an actionable signal for trustworthy deployment. We present LegalHalluLens, an auditing framework with three components: typed hallucination profiles across four legally-motivated claim categories (numeric, temporal, obligation/entitlement, factual) over CUAD (Hendrycks et al., 2021); a Risk Direction Index (RDI) that reduces omission-versus-invention bias to a single deployment-comparable scalar; and a typed debate pipeline calibrated to both magnitudes and directions. Across 510 contracts and 249,252 clause-level instances we measure a within-model gap of approximately 38-40 pp between obligation/numeric and temporal claims that aggregate reporting hides, and show that two systems with matched 52% rates can carry opposite RDIs. The debate pipeline reduces fabricated detections by 45% with per-category gains tracking the diagnosis, matching commercial APIs with a substantially smaller backbone (4B active parameters). Typed profiles and RDI surface failure modes that aggregate metrics hide; we further show these diagnostics serve as calibration inputs for multi-agent debate pipelines, where Skeptic challenges and asymmetric gates targeted at measured failure modes outperform generically-tuned debate. The framework supports direction-aware procurement, accountability, and agent design for legal AI deployed in the wild.
- Abstract（参考訳）: 法的ワークフローにデプロイされたAIシステムは、メトリクスレポートの集計レートを約52%で幻覚させるが、この平均値は、エラーが集中した場所と、どの方向を走るかを隠蔽し、コンプライアンス担当者に信頼できるデプロイメントのための行動可能なシグナルを残さない。
本稿では, CUAD(Hendrycks et al , 2021), RDI(Rendrycks et al , 2021), RDI(Rendrycks et al , 2021), RDI(Rendrycks et al , 2021), RDI)の4つの法的動機付きクレームカテゴリ(数値, 時間, 義務/権利, 事実)にまたがる型付き幻覚プロファイル(Typed Hallucination Profiles)と, 単一デプロイメント対応スカラーに対する排他的発明バイアスを低減したリスクディベート指標(RDI), 両方向を調整した型付き議論パイプライン(Typed debate pipeline)を提示する。
510の契約と249,252の節レベルのインスタンスで、義務/数字と時間的主張の間の約38～40ppのモデル内ギャップを測定し、一致率52%の2つのシステムが反対のRDIを持てることを示す。
ディベートパイプラインは、診断を追跡するカテゴリごとのゲインによって、製造された検出を45%削減し、商用APIとバックボーン(4Bアクティブパラメータ)を大幅に小さくする。
さらに、これらの診断は、複数のエージェントによる議論パイプラインのキャリブレーション入力として役立ち、そこでは、測定された障害モードをターゲットとした懐疑的な問題と非対称なゲートが、汎用的に調整された議論よりも優れていることを示す。
このフレームワークは、方向対応の調達、説明責任、エージェント設計をサポートする。
関連論文リスト
- TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - Cascading Hallucination in Agentic RAG: The CHARM Framework for Detection and Mitigation [0.0]
マルチステップ推論パイプラインにおけるエラー伝搬の検出と中断を行うアーキテクチャフレームワークであるCHARMを紹介する。
CHARMは、ステージレベルの事実検証、クロスステージの一貫性トラッキング、信頼性の監視、カスケード解決トリガの4つのコンポーネントで構成されている。
我々は,HotpotQA,MuSiQue,2WikiMultiHopQA上のCHARMと,LangChainのエージェントパイプライン構成にまたがる独自の逆データセットを評価する。
論文 参考訳（メタデータ） (2026-06-03T04:33:47Z) - Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring [0.0]
AIコンプライアンスに対する現在のアプローチは、適合性をバイナリな監査時間判定として扱う。
このコンプライアンス・フィクションは、EUのAI法の要件に構造的に不適合である、と我々は主張する。
規制の遵守は、行動の可観測性から連続的なシグナルとして導き出される原則であるメトリクスからのガバナンスを導入します。
論文 参考訳（メタデータ） (2026-05-23T21:21:33Z) - ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。
ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-21T07:38:44Z) - GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs [0.0]
クレームを4方向のタイポロジー(接地,非接地,矛盾,相補的)に分割する基盤性フレームワークを提案する。
GSARは、明示的な計算予算の下で、結合された回復を伴うエビデンス型スコアリングを結合した最初の基盤フレームワークである。
論文 参考訳（メタデータ） (2026-04-25T16:20:28Z) - ArgRE: Formal Argumentation for Conflict Resolution in Multi-Agent Requirements Negotiation [3.512547713134864]
ArgREは交渉段階に抽象的な議論を組み込むマルチエージェント要件システムである。
既存のフレームワークにはない引数レベルのトレーサビリティを提供する。
評価によると、ArgREは既存のフレームワークにはない引数レベルのトレーサビリティを提供する。
論文 参考訳（メタデータ） (2026-04-25T03:28:13Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Adversarial Intent is a Latent Variable: Stateful Trust Inference for Securing Multimodal Agentic RAG [5.4716896485317195]
マルチモーダルエージェントRAGに対する現在のステートレスディフェンスは、悪意のあるセマンティクスを配布する敵の戦略を検出するのに失敗する。
MMA-RAGTは,MTA (Modular Trust Agent) が管理する推定時制御フレームワークで,ほぼ信頼状態を維持している。
論文 参考訳（メタデータ） (2026-02-24T23:52:27Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳（メタデータ） (2025-04-17T16:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。