論文の概要: Attribution analysis of legal language as used by LLM

• arxiv url: http://arxiv.org/abs/2501.17330v1
• Date: Tue, 28 Jan 2025 22:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:54:39.429476
• Title: Attribution analysis of legal language as used by LLM
• Title（参考訳）: LLMが用いた法的言語の属性分析
• Authors: Richard K. Belew,
• Abstract要約: 公開可能な2つの法的データセット、より単純な二項分類タスク、および保持者の司法判断を特定するためのより精巧な複数の選択タスクを使用します。 すべてのモデルがケースホールドタスクからテスト例を正しく分類しているのに対して、他の例は1つ、モデル、属性のみによってのみ識別できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Three publicly-available LLM specifically designed for legal tasks have been implemented and shown that classification accuracy can benefit from training over legal corpora, but why and how? Here we use two publicly-available legal datasets, a simpler binary classification task of ``overruling'' texts, and a more elaborate multiple choice task identifying ``holding'' judicial decisions. We report on experiments contrasting the legal LLM and a generic BERT model for comparison, against both datasets. We use integrated gradient attribution techniques to impute ``causes'' of variation in the models' perfomance, and characterize them in terms of the tokenizations each use. We find that while all models can correctly classify some test examples from the casehold task, other examples can only be identified by only one, model, and attribution can be used to highlight the reasons for this. We find that differential behavior of the models' tokenizers accounts for most of the difference and analyze these differences in terms of the legal language they process. Frequency analysis of tokens generated by dataset texts, combined with use of known ``stop word'' lists, allow identification of tokens that are clear signifiers of legal topics.
• Abstract（参考訳）: 法的なタスクに特化して設計された3つのLLMが実装され、分類精度が法的なコーパスのトレーニングの恩恵を受けることが示されている。 ここでは、公開可能な2つの法的データセット、‘overruling’テキストのより単純なバイナリ分類タスク、‘holding’の司法判断を識別するより詳細な複数の選択タスクを使用します。 両データセットに対して,法的なLLMと一般的なBERTモデルを比較した実験を報告する。 我々は、モデルのパーファマンスの変化の `` causes''' をインプットするために、統合的な勾配属性技術を使用し、それらが使用するトークン化の観点で特徴付ける。 すべてのモデルがケースホールドタスクからテスト例を正しく分類できるのに対して、他の例は1つ、モデル、属性のみによってのみ識別できる。 モデルのトークン化器の差分挙動は、ほとんどの違いを考慮し、それらの差分を、それらが処理する法的言語の観点から分析する。 データセットテキストから生成されたトークンの頻度分析と既知の 'stop word'' リストの使用により、法的トピックの明確な記号であるトークンの識別が可能になる。

関連論文リスト

• Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
  本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。 重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。 我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
  論文  参考訳（メタデータ） (2024-06-11T06:53:19Z)
• DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
  判例検索のための識別モデルであるDELTAを紹介する。 我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。 本手法は, 判例検索において, 既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-27T10:40:14Z)
• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• MUSER: A Multi-View Similar Case Retrieval Dataset [65.36779942237357]
  類似事例検索(SCR)は、司法公正の促進に重要な役割を果たす代表的法的AIアプリケーションである。 既存のSCRデータセットは、ケース間の類似性を判断する際にのみ、事実記述セクションにフォーカスする。 本稿では,多視点類似度測定に基づく類似事例検索データセットMと,文レベル法定要素アノテーションを用いた包括的法定要素を提案する。
  論文  参考訳（メタデータ） (2023-10-24T08:17:11Z)
• Do Language Models Learn about Legal Entity Types during Pretraining? [4.604003661048267]
  Llama2は特定のエンティティでよく機能し、最適化されたプロンプトテンプレートで大幅に改善する可能性を示す。 Llama2は、BERTベースのアーキテクチャでは欠点の少ない構文的ヒントをしばしば見落としているように見える。
  論文  参考訳（メタデータ） (2023-10-19T18:47:21Z)
• In-Context Learning for Text Classification with Many Labels [34.87532045406169]
  多くのラベルを持つタスクに対して大きな言語モデルを用いたインコンテキスト学習(ICL)は、コンテキストウィンドウが限られているため困難である。 我々は、この制限を回避するために、事前訓練された高密度検索モデルを使用する。 我々は、コンテキスト内サンプルの数と異なるモデルスケールのパフォーマンスを分析します。
  論文  参考訳（メタデータ） (2023-09-19T22:41:44Z)
• Unlocking Practical Applications in Legal Domain: Evaluation of GPT for Zero-Shot Semantic Annotation of Legal Texts [0.0]
  我々は、短いテキストスニペットのセマンティックアノテーションを実行するための、最先端の生成事前学習トランスフォーマ(GPT)モデルの有効性を評価する。 その結果、GPTモデルは様々な種類の文書のゼロショット設定において驚くほどよく機能することがわかった。
  論文  参考訳（メタデータ） (2023-05-08T01:55:53Z)
• SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval [75.05173891207214]
  判例検索は知的法体系において中心的な役割を果たす。 既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。 本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T10:47:01Z)
• Perturbations and Subpopulations for Testing Robustness in Token-Based Argument Unit Recognition [6.502694770864571]
  Argument Unit Recognition and Classification は、テキストから引数単位を識別し、それをpro または against として分類することを目的としている。 このタスクのためにシステムを開発する際に必要となる設計上の選択の1つは、分類単位が何かである。 従来の研究では、トークンレベルの微調整言語モデルは、文章を直接訓練するよりも、文章を分類する上でより堅牢な結果をもたらすことが示唆されている。 当初この主張を導いた研究を再現し、トークンベースのシステムが文ベースのシステムと比較して何を学んだかをさらに調査する。
  論文  参考訳（メタデータ） (2022-09-29T13:44:28Z)
• Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction [61.4913233397155]
  BERTが言語戦略を用いて合意予測中にRCスパンに関する情報を使用することを示す。 また,特定のRCサブタイプに対して生成された反事実表現が,他のRCサブタイプを含む文の数値予測に影響を及ぼし,RC境界に関する情報がBERTの表現に抽象的に符号化されたことを示唆した。
  論文  参考訳（メタデータ） (2021-05-14T17:11:55Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。