Fugu-MT 論文翻訳(概要): Summarisation of German Judgments in conjunction with a Class-based Evaluation

論文の概要: Summarisation of German Judgments in conjunction with a Class-based Evaluation

arxiv url: http://arxiv.org/abs/2505.05947v1
Date: Fri, 09 May 2025 10:44:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-12 20:40:10.234422
Title: Summarisation of German Judgments in conjunction with a Class-based Evaluation
Title（参考訳）: クラスに基づく評価を伴うドイツ語判断の要約
Authors: Bianca Steffes, Nils Torben Wiedemann, Alexander Gratz, Pamela Hochreither, Jana Elina Meyer, Katharina Luise Schilke,
Abstract要約: 我々は,デコーダに基づく大規模言語モデルを微調整することにより,ドイツの判断の要約(指導原則)を作成する。我々は、訓練前に法的実体に関する情報で判断を豊かにする。以上の結果から, 法的実体の活用は, 生成モデルが関連コンテンツを見つけるのに有効であるが, 生成した要約の質は, 実際に使用するには不十分であることが示唆された。
参考スコア（独自算出の注目度）: 37.69303106863453
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The automated summarisation of long legal documents can be a great aid for legal experts in their daily work. We automatically create summaries (guiding principles) of German judgments by fine-tuning a decoder-based large language model. We enrich the judgments with information about legal entities before the training. For the evaluation of the created summaries, we define a set of evaluation classes which allows us to measure their language, pertinence, completeness and correctness. Our results show that employing legal entities helps the generative model to find the relevant content, but the quality of the created summaries is not yet sufficient for a use in practice.
Abstract（参考訳）: 長い法律文書の自動要約は、法律専門家の日々の仕事にとって大きな助けになる。我々は,デコーダに基づく大規模言語モデルを微調整することにより,ドイツの判断の要約(指導原則)を自動的に作成する。我々は、訓練前に法的実体に関する情報で判断を豊かにする。生成した要約を評価するために、それらの言語、関係性、完全性、正確性を測定できる評価クラスのセットを定義する。以上の結果から, 法的実体の活用は, 生成モデルが関連コンテンツを見つけるのに有効であるが, 生成した要約の質は, 実際に使用するには不十分であることが示唆された。

関連論文リスト

JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System [12.256518096712334]
JuDGE(Judgment Document Generation Evaluation)は、中国の法体系における判定文書生成の性能を評価するための新しいベンチマークである。本研究では,実訴訟の事実記述からなる包括的データセットを構築し,対応する全判決文書と組み合わせた。法律専門家と共同で,生成した判定文書の品質を評価するための総合的な自動評価フレームワークを構築した。
論文参考訳（メタデータ） (2025-03-18T13:48:18Z)
Automating Legal Concept Interpretation with LLMs: Retrieval, Generation, and Evaluation [27.345475442620746]
法律記事には、常に変化する社会に適応するための曖昧な概念が含まれていることが多い。厳密で専門的な注釈と法の専門家による要約が必要である。法律専門家の教義をエミュレートすることで,新たな枠組みであるATRIEを導入する。 ATRIEは法的概念解釈器と法的な概念解釈評価器から構成される。
論文参考訳（メタデータ） (2025-01-03T10:11:38Z)
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。また,LLM支援型評価器であるInsEvalを提案する。
論文参考訳（メタデータ） (2024-10-01T09:10:00Z)
PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文参考訳（メタデータ） (2024-01-26T18:12:25Z)
Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-16T02:00:17Z)
Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
我々は法学哲学に基づく法学推論の分類について研究する。我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
論文参考訳（メタデータ） (2023-10-27T19:27:59Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
An Evaluation Framework for Legal Document Summarization [1.9709122688953327]
法実務者は、土地紛争、汚職など、様々な分野の実務について、多くの長い訴訟手続を経なければならない。これらの文書を要約し、事件のカテゴリーに合致する意図のある句を含むことを保証することが重要である。本稿では, BLEU, ROUGE-Lなどの他の自動指標と比較して, 人間の評価との整合性を示す自動意図ベース要約尺度を提案する。
論文参考訳（メタデータ） (2022-05-17T16:42:03Z)
LexGLUE: A Benchmark Dataset for Legal Language Understanding in English [15.026117429782996]
我々は,多種多様なNLUタスクのモデル性能を評価するためのデータセットの集合であるLexGLUEベンチマークを紹介する。また、複数の汎用的および法的指向モデルの評価と分析を行い、後者が複数のタスクにまたがるパフォーマンス改善を一貫して提供することを示した。
論文参考訳（メタデータ） (2021-10-03T10:50:51Z)
Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。