論文の概要: LexAgentHallu: A Hierarchical Benchmark for Profiling Hallucinations in Legal Agents
- arxiv url: http://arxiv.org/abs/2609.09754v1
- Date: Wed, 09 Sep 2026 05:52:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.91162
- Title: LexAgentHallu: A Hierarchical Benchmark for Profiling Hallucinations in Legal Agents
- Title（参考訳）: LexAgentHallu: 法執行機関の幻覚をプロファイリングするための階層的ベンチマーク
- Abstract要約: 我々はLexAgentHalluという法的な薬品幻覚ベンチマークを紹介した。
LexAgentHalluは4段階のエキスパート・イン・ザ・ループパイプラインを通じて構築され、17の法律カテゴリと6つのタスクタイプにわたる3414のインスタンスを含んでいる。
評価の結果,右アンスワー・ウィング・レーソン効果が明らかとなり,幻覚サブクラスが散在するよりも,クラスタに散在していることが判明した。
- 参考スコア（独自算出の注目度）: 21.000971972321647
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As large language models are increasingly deployed as tool-augmented legal agents, they introduce agentic hallucinations where tool-call and reasoning errors cascade into fabricated holdings and miscited authority. However, existing legal benchmarks evaluate only single-turn QA with outcome-level metrics, while agentic hallucination benchmarks lack legal-specific diagnostic capability. Neither answers to what extent and how a legal agent hallucinates along its trajectory. To address these limitations, we introduce LexAgentHallu, a legal agentic hallucination benchmark designed to evaluate to what extent and how legal agents fail along multi-step trajectories. Built through a four-stage expert-in-the-loop pipeline, LexAgentHallu contains 3414 instances across 17 legal categories and 6 task types. Each instance is annotated under a dual-layer hallucination taxonomy of 7 high-level categories and 27 fine-grained subclasses, covering both substantive errors and agent-procedural failures. We further design fine-grained metrics that quantify to what extent and localize how each failure occurs along an agent's execution path. Our evaluation across 18 proprietary and open-source agents uncovers a Right-Answer-Wrong-Reason effect and reveals that hallucination subclasses cluster rather than scatter, forming distinct agentic framework, legal task, and category profiles. These findings, invisible to outcome-level evaluation, validate the diagnostic power of LexAgentHallu for evaluating agentic hallucination in law.
- Abstract（参考訳）: 大規模言語モデルは、ツール強化された法的エージェントとしてますます多くデプロイされているため、ツールコールや推論エラーのカスケードを製造済みのホールドや不正な権限に伝達するエージェント幻覚を導入する。
しかしながら、既存の法的なベンチマークでは、結果レベルの指標を持つシングルターンQAのみが評価され、エージェント幻覚ベンチマークでは法的な診断能力が欠如している。
どちらの方法も、その軌道に沿って法的なエージェントが幻覚する程度や程度には答えない。
この制限に対処するために、LexAgentHalluという法的なエージェント幻覚ベンチマークを紹介します。
LexAgentHalluは4段階のエキスパート・イン・ザ・ループパイプラインを通じて構築され、17の法律カテゴリと6つのタスクタイプにわたる3414のインスタンスを含んでいる。
各インスタンスは、7つの高レベルカテゴリと27のきめ細かいサブクラスからなる二重層幻覚分類の下で注釈付けされ、実体的エラーとエージェント・プロデューラルな失敗の両方をカバーする。
さらに、エージェントの実行パスに沿って、各障害がどのように発生するかを定量化し、ローカライズする、きめ細かいメトリクスを設計します。
我々は,18のプロプライエタリおよびオープンソースエージェントを対象とした評価により,Right-Answer-Wrong-Reason効果を明らかにするとともに,幻覚サブクラスが散在するよりもクラスタを分解し,異なるエージェントフレームワーク,法的タスク,カテゴリプロファイルを形成することを明らかにした。
以上の結果から,LexAgentHalluの薬物性幻覚評価における診断力について検討した。
関連論文リスト
- Who Checks the Citations? Benchmarking Legal Hallucination Detection [7.592193069681834]
司法、裁判官、プロセパフォーマーは、ますますAIを使って法的文書の草案を作成するが、これらのツールは引用をしばしば作っている。
本研究は,幻覚を自動的に検出することで,AIに基づくシステムがこれらの誤りを軽減できるかどうかを評価する。
本稿では,実際の裁判所提出書類に基づいた法的な引用幻覚の分類法を提案し,インジェクトエラーを含む1,300件の簡単な抜粋のデータセットを提案する。
論文 参考訳（メタデータ） (2026-06-19T06:47:31Z) - LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks [42.88450102623113]
オープンな中国の法的タスクを評価するためのルーブリックベースのベンチマークであるLexRubricを紹介した。
これには、日々の法的要求と専門的な法的理由の両方を反映した、法的協議と司法試験からの649の事例が含まれる。
また、12,337人の専門家による原子鑑定基準を、統一された6次元フレームワークの下で構成している。
論文 参考訳（メタデータ） (2026-06-08T12:04:47Z) - Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows [1.6048497142263283]
Trajelは、マルチエージェントエージェントにおける軌道レベルの幻覚を監査するためのデータセットおよび評価フレームワークである。
我々は,サブタスク,トラジェクトリ,長文レベルの教師付き検出モデルをベンチマークした。
軌道認識検出は、標準的なポストホック検証よりも大幅に優れている。
論文 参考訳（メタデータ） (2026-05-22T21:05:10Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - AgentHallu: Benchmarking Automated Hallucination Attribution of LLM-based Agents [30.66751974860931]
単ターン応答における幻覚検出には、どのステップが最初の発散を引き起こすかを特定する必要がある。
そこで本研究では,LLMをベースとしたエージェントの自動幻覚帰属(automatic hallucination attribution of LLM-based agent)を提案する。
AgentHalluは7つのエージェントフレームワークと5つのドメインにまたがる693の高品質なトラジェクトリを備えた総合ベンチマークである。
最高のパフォーマンスモデルは41.1%のステップのローカライズ精度しか達成せず、道具の使用による幻覚が最も難しいのは11.6%である。
論文 参考訳（メタデータ） (2026-01-11T09:04:26Z) - Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。
XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
論文 参考訳（メタデータ） (2025-12-21T13:46:36Z) - LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence [74.05988707492058]
法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)とは、法的な理解、推論、意思決定を含む人工知能(AI)のこと。
既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができない。
我々は、LLMにおける法GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
論文 参考訳（メタデータ） (2025-12-04T08:48:02Z) - MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。
MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
論文 参考訳（メタデータ） (2025-07-28T17:38:29Z) - C-FAITH: A Chinese Fine-Grained Benchmark for Automated Hallucination Evaluation [58.40263551616771]
本稿では,いくつかの知識文書に基づいて,詳細なQAデータセットを自動的に構築するエージェントフレームワークであるHaluAgentを紹介する。
本実験は,手作業で設計したルールと迅速な最適化により,生成データの品質が向上できることを実証する。
論文 参考訳（メタデータ） (2025-04-14T12:21:55Z) - LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。
LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
論文 参考訳（メタデータ） (2024-12-23T04:02:46Z) - Gaps or Hallucinations? Gazing into Machine-Generated Legal Analysis for Fine-grained Text Evaluations [38.30926471814935]
LLM(Large Language Models)は、法律分析を行う専門家のための文書作成支援である。
LLMは、非専門職や既存のテキスト評価指標によって認識しにくい方法で、この設定で幻覚を起こすことが多い。
厳密な誤った意味での幻覚とは対照的に、中性的なギャップの概念を導入し、人間による記述と機械による法的な分析の違いを言及する。
論文 参考訳（メタデータ） (2024-09-16T02:38:38Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳（メタデータ） (2024-01-12T19:02:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。