論文の概要: On Wednesdays, We Ask Questions: Optimizing "Active Listening" in Automated Legal Triage and Referral

• arxiv url: http://arxiv.org/abs/2606.00272v1
• Date: Fri, 29 May 2026 19:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.195223
• Title: On Wednesdays, We Ask Questions: Optimizing "Active Listening" in Automated Legal Triage and Referral
• Title（参考訳）: 水曜日、我々は質問を投げかけ、自動化された法的トリアージとレファレンスにおける「アクティブリスニング」を最適化する
• Abstract要約: FETCHにおける専門家弁護士とLCM支援によるフォローアップ質問アプローチの評価について述べる。 低コストのLLMは、分類作業でよく機能するが、この環境では高品質な平易な質問を生成するには、より高度で高コストなモデルが必要である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The FETCH classifier generates follow-up questions to help refine the best match for the applicant's legal problem, using a low-cost ensemble of LLMs. In this paper, we describe an expert attorney and LLM-assisted evaluation of the follow-up question approach in FETCH and show that while low-cost LLMs perform well at classification tasks, generating high-quality plain-language questions in this setting appears to require a more sophisticated and higher-cost model. Through discussion with legal intake workers, we propose a rubric for the evaluation of legal intake classification questions, and we find that prompt engineering alone is not enough to improve question quality for intake purposes. We also find that LLM-as-judge and human ratings diverge. We demonstrate that with the addition of a single high-cost model, GPT-5, the classifier can elicit relevant information from applicants for legal help, and that the questions lead to more accurate performance at classification tasks. We also find uneven fact elicitation across different categories, including domestic violence, at odds with family law screening protocols, suggesting the value of including dedicated screening panels for certain areas of law.
• Abstract（参考訳）: FETCH分類器は、低コストなLLMのアンサンブルを使用して、応募者の法的な問題に最適なマッチを洗練するためのフォローアップ質問を生成する。 本稿では、FETCHにおける専門家弁護士とLLM支援によるフォローアップ質問手法の評価を行い、低コストのLLMが分類タスクでうまく機能する一方で、高品質な平易な質問を生成するためには、より高度で高コストなモデルが必要であることを示す。 法的な吸気労働者との議論を通じて,法的な吸気分類問題の評価のためのルーブリックを提案し,迅速なエンジニアリングだけでは,吸気目的の質問品質を向上させるには不十分であることが判明した。 また、LCM-as-judgeと人間格付けが多様化していることが判明した。 我々は,単一の高コストモデルであるGPT-5を付加することにより,法的な支援を求めて,関連する情報を応募者から引き出すことができ,これらの質問が分類タスクにおいてより正確なパフォーマンスをもたらすことを実証した。 また、家庭内暴力を含む様々なカテゴリーにまたがる不公平な事実は、家庭法スクリーニングプロトコルに反し、特定の分野の法律に専用のスクリーニングパネルを含めることの価値を示唆している。

関連論文リスト

• LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation [9.599534367350227]
  本稿では,大言語モデル(LLM)を用いた欧州連合司法裁判所の決定による法的提案の自動生成と評価について検討する。 我々は、法的命題の品質を形式的妥当性と実体的次元に分解する3段階評価ルーブリックであるLP-Evalを紹介した。 以上の結果から,LLMは比較的良く形成され,高品質な命題を生成できることを示す一方,専門家による評価では,近年の事案よりも確立された事案から派生した命題の質が高いことが示唆された。
  論文  参考訳（メタデータ） (2026-05-19T13:10:39Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• Fine Grained Evaluation of LLMs-as-Judges [1.5267938856942276]
  大規模言語モデル(LLM)は、人間の代用として用いられる。 我々は、LCMの質を、文書レベルだけでなく、これらの判断が正しい理由のためにどれだけの頻度で正しいかを定量化するためにも、裁判官として評価する。
  論文  参考訳（メタデータ） (2026-01-13T19:01:16Z)
• That's So FETCH: Fashioning Ensemble Techniques for LLM Classification in Civil Legal Intake and Referral [0.0]
  法的な問題分類のためのFETCH分類器を導入・評価する。 我々は、非営利の弁護士紹介サービスに、419の現実世界のクエリーからなる新しいデータセットを採用。 安価なモデルを用いた分類精度(hits@2)は97.37%である。
  論文  参考訳（メタデータ） (2025-09-08T19:34:57Z)
• L-MARS: Legal Multi-Agent Workflow with Orchestrated Reasoning and Agentic Search [3.662162441273026]
  L-MARS(Legal Multi-Agent with Orchestrated Reasoning and Agentic Search)は、法的な質問応答における幻覚と不確実性を低減するシステムである。 単一パス検索拡張生成(RAG)とは異なり、L-MARSはクエリをサブプロブレムに分解する。 審査員を雇い、回答合成前の十分性、司法権、時間的妥当性を検証する。
  論文  参考訳（メタデータ） (2025-08-31T09:23:26Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。