論文の概要: Knowledge is Power: Understanding Causality Makes Legal judgment Prediction Models More Generalizable and Robust

• arxiv url: http://arxiv.org/abs/2211.03046v2
• Date: Tue, 18 Apr 2023 12:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 18:12:59.979289
• Title: Knowledge is Power: Understanding Causality Makes Legal judgment Prediction Models More Generalizable and Robust
• Title（参考訳）: 知識は力である - 因果関係を理解することで,法的判断予測モデルがより一般化し,堅牢になる
• Authors: Haotian Chen, Lingwei Zhang, Yiran Liu, Fanchao Chen, Yang Yu
• Abstract要約: 法的判断予測(LJP)は、限られた法律実務者の労働負担を軽減するために法的支援を行う。 既存の手法の多くは、LJPタスクで微調整された様々な大規模事前学習言語モデルを適用し、一貫した改善を得る。 最先端モデル(SOTA)は,無関係情報(あるいは非因果情報)に基づいて判断予測を行う。
• 参考スコア（独自算出の注目度）: 3.555105847974074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legal Judgment Prediction (LJP), aiming to predict a judgment based on fact descriptions according to rule of law, serves as legal assistance to mitigate the great work burden of limited legal practitioners. Most existing methods apply various large-scale pre-trained language models (PLMs) finetuned in LJP tasks to obtain consistent improvements. However, we discover the fact that the state-of-the-art (SOTA) model makes judgment predictions according to irrelevant (or non-casual) information. The violation of rule of law not only weakens the robustness and generalization ability of models but also results in severe social problems like discrimination. In this paper, we use causal structural models (SCMs) to theoretically analyze how LJP models learn to make decisions and why they can succeed in passing the traditional testing paradigm without learning causality. According to our analysis, we provide two solutions intervening on data and model by causality, respectively. In detail, we first distinguish non-causal information by applying the open information extraction (OIE) technique. Then, we propose a method named the Causal Information Enhanced SAmpling Method (CIESAM) to eliminate the non-causal information from data. To validate our theoretical analysis, we further propose another method using our proposed Causality-Aware Self-Attention Mechanism (CASAM) to guide the model to learn the underlying causality knowledge in legal texts. The confidence of CASAM in learning causal information is higher than that of CIESAM. The extensive experimental results show that both our proposed methods achieve state-of-the-art (SOTA) performance on three commonly used legal-specific datasets. The stronger performance of CASAM further demonstrates that causality is the key to the robustness and generalization ability of models.
• Abstract（参考訳）: 法律規則に基づく事実記述に基づく判断の予測を目的とした法律判断予測(ljp)は、限られた法律実務者の大きな労働負担を軽減するための法的支援として機能する。 既存のほとんどの手法は、LJPタスクで微調整された様々な大規模事前訓練言語モデル(PLM)を適用し、一貫した改善を得る。 しかし, 現状技術(SOTA)モデルが無関係情報(あるいは非因果情報)に基づいて判断を下す事実が判明した。 法規違反はモデルの堅牢性と一般化能力を弱めるだけでなく、差別のような深刻な社会問題を引き起こす。 本稿では,因果構造モデル(causal structural models, scms)を用いて,ljpモデルが意思決定の仕方や,因果性を学習せずに従来のテストパラダイムをパスできる理由を理論的に分析する。 分析によれば、それぞれデータと因果関係によるモデルにかかわる2つのソリューションを提供する。 本稿では,まずopen information extraction (oie) 手法を適用し,非コーサル情報を識別する。 そこで本研究では,CIESAM (Causal Information Enhanced SAmpling Method) という手法を提案する。 さらに,提案する因果関係認識機構(casam)を用いて,法的テキストにおける因果関係の知識を学習するためのモデルを導出する別の手法を提案する。 因果情報学習におけるCASAMの信頼性はCIESAMよりも高い。 広範な実験結果から,提案手法の両方が3つの法定データセットにおいて最先端(sota)性能を実現することが示された。 CASAMの強い性能は、因果性がモデルの堅牢性と一般化能力の鍵であることを示している。

関連論文リスト

• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• A Simple Model of Inference Scaling Laws [1.3597551064547502]
  スケーリング法則を推論の文脈で研究し、特に複数の推論による性能向上について検討する。 我々の単純なフレームワークは、推論スケーリングを他の既知のスケーリング法則に組み込むための基盤となる。
  論文  参考訳（メタデータ） (2024-10-21T18:00:06Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• The Factuality of Large Language Models in the Legal Domain [8.111302195052641]
  本稿では,法域における知識基盤としての大規模言語モデル(LLM)の事実性について検討する。 事例法と法律に関する多様な事実質問のデータセットを設計する。 次に、データセットを用いて、精度、エイリアス、ファジィマッチングなど、異なる評価手法で複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-09-18T08:30:20Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• Did the Models Understand Documents? Benchmarking Models for Language Understanding in Document-Level Relation Extraction [2.4665182280122577]
  近年,ドキュメントレベルの関係抽出 (DocRE) が注目されている。 モデルはDocREで一貫したパフォーマンス向上を達成するが、根底にある決定ルールはまだ検討されていない。 本稿では,この質問に答える第一歩として,モデルを包括的に評価する新たな視点を紹介する。
  論文  参考訳（メタデータ） (2023-06-20T08:52:05Z)
• Preserving Commonsense Knowledge from Pre-trained Language Models via Causal Inference [20.5696436171006]
  現存する研究の多くは破滅的な忘れ物であり、訓練済みの知識を無差別に保持している。 我々は因果グラフに微調整を行い、破滅的な忘れ物が事前訓練されたデータから欠落した因果関係にあることを発見した。 実験では,6つのコモンセンスQAデータセットに対して,最先端の微調整手法より優れていた。
  論文  参考訳（メタデータ） (2023-06-19T09:06:44Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• On the Trade-Off between Actionable Explanations and the Right to be Forgotten [21.26254644739585]
  データ削除要求の文脈におけるリコース無効化の問題について検討する。 トレーニングセットから最大2つのデータインスタンスを削除することで、一般的な最先端アルゴリズムによって出力されるすべてのリコースの最大95%を無効化できることを示す。
  論文  参考訳（メタデータ） (2022-08-30T10:35:32Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。