論文の概要: Archimedes-AUEB at SemEval-2024 Task 5: LLM explains Civil Procedure

• arxiv url: http://arxiv.org/abs/2405.08502v1
• Date: Tue, 14 May 2024 11:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 14:28:33.709266
• Title: Archimedes-AUEB at SemEval-2024 Task 5: LLM explains Civil Procedure
• Title（参考訳）: Archimedes-AUEB at SemEval-2024 Task 5: LLM explains Civil procedure
• Authors: Odysseas S. Chlapanis, Ion Androutsopoulos, Dimitrios Galanis,
• Abstract要約: 民事訴訟における主張推論に関するSemEvalの課題は、法的概念を理解し、複雑な議論を推論する必要があるという点で困難である。 私たちが提唱するアプローチは、強力な教師-LLMを使用して、説明付きトレーニングデータセットを拡張し、合成データを生成することです。 私たちは、合成データセットと、両方を生成するために使用されたプロンプトとともに、オリジナルのデータセットの拡張として、説明を公開しています。
• 参考スコア（独自算出の注目度）: 12.20489673003868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The SemEval task on Argument Reasoning in Civil Procedure is challenging in that it requires understanding legal concepts and inferring complex arguments. Currently, most Large Language Models (LLM) excelling in the legal realm are principally purposed for classification tasks, hence their reasoning rationale is subject to contention. The approach we advocate involves using a powerful teacher-LLM (ChatGPT) to extend the training dataset with explanations and generate synthetic data. The resulting data are then leveraged to fine-tune a small student-LLM. Contrary to previous work, our explanations are not directly derived from the teacher's internal knowledge. Instead they are grounded in authentic human analyses, therefore delivering a superior reasoning signal. Additionally, a new `mutation' method generates artificial data instances inspired from existing ones. We are publicly releasing the explanations as an extension to the original dataset, along with the synthetic dataset and the prompts that were used to generate both. Our system ranked 15th in the SemEval competition. It outperforms its own teacher and can produce explanations aligned with the original human analyses, as verified by legal experts.
• Abstract（参考訳）: 民事訴訟における主張推論に関するSemEvalの課題は、法的概念を理解し、複雑な議論を推論する必要があるという点で困難である。 現在、法的な領域で優れているほとんどの大規模言語モデル(LLM)は、主に分類タスクを目的としており、その推論的根拠は論争の対象となっている。 提案するアプローチは、強力な教師LLM(ChatGPT)を使用して、説明付きトレーニングデータセットを拡張し、合成データを生成する。 得られたデータは、小さな学生LLMを微調整するために活用される。 従来の研究とは対照的に、私たちの説明は教師の内部知識から直接導かれるものではない。 代わりに、それらは真の人間の分析に基礎を置いており、そのためより優れた推論信号を提供する。 さらに、新しい‘mutation’メソッドは、既存のものからインスパイアされた人工データインスタンスを生成する。 私たちは、合成データセットと、両方を生成するために使用されたプロンプトとともに、オリジナルのデータセットの拡張として、説明を公開しています。 我々のシステムはSemEvalコンペティションで15位にランクインした。 法律の専門家が検証したように、独自の教師よりも優れており、オリジナルの人間分析と整合した説明を作成できる。

関連論文リスト

• Understanding Synthetic Context Extension via Retrieval Heads [51.8869530817334]
  本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
  論文  参考訳（メタデータ） (2024-10-29T17:55:00Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making [13.928951741632815]
  大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。
  論文  参考訳（メタデータ） (2023-11-15T00:34:28Z)
• Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
  我々は法学哲学に基づく法学推論の分類について研究する。 我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。 生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T19:27:59Z)
• The Legal Argument Reasoning Task in Civil Procedure [2.079168053329397]
  我々は,米国民事訴訟の領域から新たなNLPタスクとデータセットを提示する。 データセットの各インスタンスは、ケースの一般的な導入、特定の質問、可能な解決策引数で構成されている。
  論文  参考訳（メタデータ） (2022-11-05T17:41:00Z)
• NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
  本稿では,Prologベースの推論エンジンを新たに提案する。 我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。 我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
  論文  参考訳（メタデータ） (2022-09-16T00:54:44Z)
• IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument Mining Tasks [59.457948080207174]
  本稿では,一連の議論マイニングタスクに適用可能なIAMという,包括的で大規模なデータセットを提案する。 データセットの70k近い文は、引数特性に基づいて完全に注釈付けされている。 議論準備プロセスに関連する2つの新しい統合された議論マイニングタスクを提案する。(1) 姿勢分類付きクレーム抽出(CESC)と(2) クレーム・エビデンス・ペア抽出(CEPE)である。
  論文  参考訳（メタデータ） (2022-03-23T08:07:32Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)
• Explaining Question Answering Models through Text Generation [42.36596190720944]
  大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整するときに驚くほどうまく機能することが示されている。 エンドツーエンドのアーキテクチャで正しい予測ができるような、LMの知識が何であるかを説明するのは難しい。 エンド・ツー・エンドのアーキテクチャに匹敵するパフォーマンスに達するタスクをいくつか示します。
  論文  参考訳（メタデータ） (2020-04-12T09:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。