論文の概要: Supporting Humans in Evaluating AI Summaries of Legal Depositions

• arxiv url: http://arxiv.org/abs/2601.15182v1
• Date: Wed, 21 Jan 2026 17:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.468261
• Title: Supporting Humans in Evaluating AI Summaries of Legal Depositions
• Title（参考訳）: 法定預金のAI助成金評価における人的支援
• Authors: Naghmeh Farzi, Laura Dietz, Dave D. Lewis,
• Abstract要約: ナゲットに基づく手法は、要約手法の自動化評価に極めて有用であることが示されている。 本稿では,2つの具体的なシナリオで法的専門家を支援するために,現実的なナゲットに基づくアプローチを利用するプロトタイプを提案する。
• 参考スコア（独自算出の注目度）: 5.753572952160824
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While large language models (LLMs) are increasingly used to summarize long documents, this trend poses significant challenges in the legal domain, where the factual accuracy of deposition summaries is crucial. Nugget-based methods have been shown to be extremely helpful for the automated evaluation of summarization approaches. In this work, we translate these methods to the user side and explore how nuggets could directly assist end users. Although prior systems have demonstrated the promise of nugget-based evaluation, its potential to support end users remains underexplored. Focusing on the legal domain, we present a prototype that leverages a factual nugget-based approach to support legal professionals in two concrete scenarios: (1) determining which of two summaries is better, and (2) manually improving an automatically generated summary.
• Abstract（参考訳）: 大きな言語モデル(LLMs)は、長い文書を要約するために使われることが多いが、この傾向は、要約の実際の正確さが不可欠である法的領域において重大な課題を招いている。 ナゲットに基づく手法は、要約手法の自動化評価に極めて有用であることが示されている。 本研究では,これらの手法をユーザ側に翻訳し,ナゲットがエンドユーザを直接支援する方法について検討する。 従来のシステムは、ナゲットに基づく評価の可能性を実証してきたが、エンドユーザーをサポートする可能性はまだ未定である。 法律分野に着目して,(1)2つの要約のどちらがよいかを判断し,(2)自動生成された要約を手作業で改善する,という2つの具体的なシナリオにおいて,現実的なナゲットに基づくアプローチを活用するプロトタイプを提案する。

関連論文リスト

• Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue [61.0689885044492]
  メタリビューアを効果的に支援できるダイアログエージェントを実現する上での課題について検討する。 まず,対話エージェントの訓練におけるデータ不足の問題に対処する。 このデータを用いて、メタレビューに適した対話エージェントを訓練する。
  論文  参考訳（メタデータ） (2025-08-07T11:27:43Z)
• A Data Science Approach to Calcutta High Court Judgments: An Efficient LLM and RAG-powered Framework for Summarization and Similar Cases Retrieval [2.359291431338925]
  本研究は,Calcutta High Courtの判決を解析するための枠組みを提案する。 ペガサスモデルを微調整することにより、判例の要約において大幅な改善が達成される。 RAGベースのフレームワークは、ユーザクエリに応答して、同様のケースを効率的に検索し、徹底的な概要と要約を提供する。
  論文  参考訳（メタデータ） (2025-06-28T20:24:34Z)
• The Great Nugget Recall: Automating Fact Extraction and RAG Evaluation with Large Language Models [53.12387628636912]
  本稿では,人間のアノテーションに対して評価を行う自動評価フレームワークを提案する。 この手法は2003年にTREC Question Answering (QA) Trackのために開発された。 完全自動ナゲット評価から得られるスコアと人間に基づく変種とのランニングレベルでの強い一致を観察する。
  論文  参考訳（メタデータ） (2025-04-21T12:55:06Z)
• Decomposed Opinion Summarization with Verified Aspect-Aware Modules [82.38097397662436]
  レビューの観点から,ドメインに依存しないモジュラーアプローチを提案する。 科学研究、ビジネス、製品ドメインを表すデータセットをまたいだ実験を行います。
  論文  参考訳（メタデータ） (2025-01-27T09:29:55Z)
• UserSumBench: A Benchmark Framework for Evaluating User Summarization Approaches [25.133460380551327]
  大規模言語モデル(LLM)は、大量のユーザアクティビティデータからユーザ要約を生成する際、顕著な能力を示している。 これらの要約は、好みや興味などの重要なユーザー情報を取り込み、パーソナライズ・アプリケーションには有用である。 しかし, 新たな要約手法の開発は, ゼロ・トラストラベルの欠如, ユーザ・サマリー固有の主観性, 人的評価などによって妨げられている。
  論文  参考訳（メタデータ） (2024-08-30T01:56:57Z)
• CLERC: A Dataset for Legal Case Retrieval and Retrieval-Augmented Analysis Generation [44.67578050648625]
  我々は、大規模なオープンソース法定コーパスを、情報検索(IR)と検索拡張生成(RAG)をサポートするデータセットに変換する。 このデータセットCLERCは、(1)法的な分析のための対応する引用を見つけ、(2)これらの引用のテキストを、推論目標を支持するコジェント分析にコンパイルする能力に基づいて、モデルのトレーニングと評価のために構築される。
  論文  参考訳（メタデータ） (2024-06-24T23:57:57Z)
• Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
  オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。 本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。 本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-16T02:00:17Z)
• Robust Deep Reinforcement Learning for Extractive Legal Summarization [13.577343899514396]
  本稿では,強化学習を用いて,現行の深層要約モデルを訓練し,法域における性能向上を図ることを提案する。 3つの公開法的データセットで一貫した、重要なパフォーマンス向上を観察します。
  論文  参考訳（メタデータ） (2021-11-13T17:27:49Z)
• Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline [94.0601799665342]
  資料の参照要約における文のアライメントは,補助的な要約作業として有用であった。 本稿では,2つの重要な新機能を導入しながら,要約ソースアライメントを明示的なタスクとして確立することを提案する。 我々は提案レベルのアライメントのための新しいトレーニングデータセットを作成し、利用可能な要約評価データから自動的に抽出する。 教師なしアプローチよりも優れたアライメント品質を示す教師付き命題アライメントベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-01T17:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。