論文の概要: Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art
- arxiv url: http://arxiv.org/abs/2607.29066v1
- Date: Fri, 31 Jul 2026 06:36:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.637446
- Title: Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art
- Title(参考訳): サブターフュージのセマンティクス:一般領域に対する法的偽装検出のベンチマーク
- Abstract要約: 法域に着目したNLPに基づく自動偽装検出(ADD)に関する調査と比較分析を行った。
微調整変圧器モデルとLarge Language Model (LLM) のアプローチを比較した。
その結果、データリッチな汎用ドメインに優れた微調整モデルと、低リソースの法的な設定で競合する少数のLLMが得られた。
- 参考スコア(独自算出の注目度): 1.117876753894891
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deception detection has critical implications for legal proceedings, law enforcement, and online security. Although human judgment is limited in accuracy and scalability, Natural Language Processing (NLP) offers a data-driven alternative. We present a survey and comparative analysis of NLP-based Automatic Deception Detection (ADD) focusing on the legal domain, reviewing the evolution from feature-based machine learning to Large Language Model (LLM) approaches. We conduct a unified empirical evaluation across seven datasets (two legal, five general-domain), comparing six fine-tuned transformer models and seven LLMs under four prompting strategies. The results show strong domain sensitivity, with fine-tuned models excelling in data-rich general domains and few-shot LLMs remaining competitive in low-resource legal settings. Chain-of-Thought prompting often underperforms direct classification. These findings highlight the need for domain adaptation and interpretable systems in high-stakes legal contexts.
- Abstract(参考訳): 詐欺検出は、法的手続き、法執行、オンラインセキュリティに重要な意味を持つ。
人間の判断は精度とスケーラビリティに制限があるが、自然言語処理(NLP)はデータ駆動の代替手段を提供する。
本稿では,NLPに基づく音声認識から大規模言語モデル(LLM)への進化をレビューし,法的領域に着目した自動認識検出(ADD)に関する調査と比較分析を行う。
我々は,7つのデータセット(2つの法則,5つの一般ドメイン)に対して統一的な実験評価を行い,6つの微調整トランスフォーマーモデルと7つのLDMを4つのプロンプト戦略で比較した。
その結果、データリッチな汎用ドメインに優れた微調整モデルと、低リソースの法的な設定で競合する少数のLLMが得られた。
チェーン・オブ・ソート(Chain-of-Thought)は、しばしば直接分類を過小評価する。
これらの知見は,高度な法的文脈におけるドメイン適応と解釈システムの必要性を浮き彫りにしている。
関連論文リスト
- Cross-Domain Data Selection and Augmentation for Automatic Compliance Detection [1.8314346918344617]
我々は、自然言語推論(NLI)タスクとしてフレーム化されたコンプライアンス検出における負の転送を緩和する戦略として、データ選択について検討する。
具体的には、より大きなソースドメインから拡張を選択するための4つのアプローチを評価する。
その結果、ターゲットデータの選択は負の転送を大幅に削減し、不均一な規制をまたいだスケーラブルで信頼性の高いコンプライアンス自動化への実践的な道筋を提供することがわかった。
論文 参考訳(メタデータ) (2026-04-23T09:28:50Z) - RPA-Check: A Multi-Stage Automated Framework for Evaluating Dynamic LLM-based Role-Playing Agents [4.07447364754644]
本稿では,LLM ベースの RPA の性能を客観的に評価する多段階自動評価フレームワーク RPA-Check を紹介する。
我々は,この枠組みを,いくつかの定量化ローカルモデルを含む法医学的な訓練のための真剣なゲームであるLLM Courtに適用することで検証する。
論文 参考訳(メタデータ) (2026-04-13T16:08:03Z) - DepthCharge: A Domain-Agnostic Framework for Measuring Depth-Dependent Knowledge in Large Language Models [51.56484100374058]
大きな言語モデルは一般的な質問に答えるときに有能に見えるが、ドメイン固有の詳細にプッシュされると失敗することが多い。
3つのイノベーションを通じて知識の深さを測定するドメインに依存しないフレームワークであるDepthChargeを紹介します。
モデルが実際に言及している概念に基づいてフォローアップ質問を生成する適応的探索、権威のある情報源からのオンデマンドの事実検証、あらゆる深さのサンプルサイズが一定である生存統計。
論文 参考訳(メタデータ) (2026-03-05T20:49:11Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳(メタデータ) (2026-01-31T10:18:32Z) - Evaluating the Role of Verifiers in Test-Time Scaling for Legal Reasoning Tasks [2.1049704239329152]
テストタイムスケーリング(TTS)技術は、計算量やレイテンシを犠牲にして、大規模言語モデル(LLM)の性能を向上させることができる。
提案手法は,5つのベンチマークを対象とする法定多重選択QA(MCQA)に対する検証器に基づくTS手法の実証的研究である。
論文 参考訳(メタデータ) (2025-10-29T15:27:47Z) - AUTOLAW: Enhancing Legal Compliance in Large Language Models via Case Law Generation and Jury-Inspired Deliberation [5.732271982985626]
AutoLawは、ドメイン固有の大規模言語モデル(LLM)のための新しい違反検出フレームワークである。
LLMの法的コンプライアンスを強化するために、敵対的なデータ生成と陪審に触発された審議プロセスを組み合わせる。
本研究は, 法的不一致を適応的に調査し, 信頼性の高い文脈対応の判断を下すフレームワークの能力を強調した。
論文 参考訳(メタデータ) (2025-05-20T07:09:13Z) - SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。
提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。
次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
論文 参考訳(メタデータ) (2025-03-05T09:37:05Z) - Evaluating LLM-based Approaches to Legal Citation Prediction: Domain-specific Pre-training, Fine-tuning, or RAG? A Benchmark and an Australian Law Case Study [9.30538764385435]
大規模言語モデル (LLM) は法的タスクに強い可能性を示しているが、法的な引用予測の問題は未解明のままである。
AusLaw Citation Benchmarkは,オーストラリアで55万の法的事例と18,677のユニークな引用からなる実世界のデータセットである。
次に、さまざまなソリューションに対して、システマティックなベンチマークを実施します。
その結果, 一般および法定LLMは独立解として十分ではなく, ほぼゼロに近い性能を示した。
論文 参考訳(メタデータ) (2024-12-09T07:46:14Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳(メタデータ) (2023-10-13T16:47:20Z) - Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。
具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。
本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
論文 参考訳(メタデータ) (2020-10-23T06:29:09Z) - Cross-domain Detection via Graph-induced Prototype Alignment [114.8952035552862]
カテゴリレベルのドメインアライメントを求めるグラフ誘発プロトタイプアライメント(GPA)フレームワークを提案する。
さらに,クラス不均衡がドメイン適応に与える影響を軽減するために,クラス重み付きコントラスト損失を設計する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2020-03-28T17:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。