論文の概要: Using Large Language Models to Support Thematic Analysis in Empirical Legal Studies

• arxiv url: http://arxiv.org/abs/2310.18729v1
• Date: Sat, 28 Oct 2023 15:20:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:56:34.908175
• Title: Using Large Language Models to Support Thematic Analysis in Empirical Legal Studies
• Title（参考訳）: 経験的法学研究における大規模言語モデルを用いた主題分析支援
• Authors: Jakub Dr\'apal, Hannes Westermann, Jaromir Savelka
• Abstract要約: 大規模言語モデル(LLM)を用いた法律専門家の効果的な協調を支援する新しい枠組みを提案する。 我々は, 盗難に関する刑事裁判所の意見から, 事実のデータセット(n=785)の分析にこの枠組みを用いた。
• 参考スコア（独自算出の注目度）: 0.7673339435080445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thematic analysis and other variants of inductive coding are widely used qualitative analytic methods within empirical legal studies (ELS). We propose a novel framework facilitating effective collaboration of a legal expert with a large language model (LLM) for generating initial codes (phase 2 of thematic analysis), searching for themes (phase 3), and classifying the data in terms of the themes (to kick-start phase 4). We employed the framework for an analysis of a dataset (n=785) of facts descriptions from criminal court opinions regarding thefts. The goal of the analysis was to discover classes of typical thefts. Our results show that the LLM, namely OpenAI's GPT-4, generated reasonable initial codes, and it was capable of improving the quality of the codes based on expert feedback. They also suggest that the model performed well in zero-shot classification of facts descriptions in terms of the themes. Finally, the themes autonomously discovered by the LLM appear to map fairly well to the themes arrived at by legal experts. These findings can be leveraged by legal researchers to guide their decisions in integrating LLMs into their thematic analyses, as well as other inductive coding projects.
• Abstract（参考訳）: 主題分析やその他の帰納的符号化の変種は、経験的法的研究(els)において定性解析法として広く使われている。 本稿では,初期コード生成のための大規模言語モデル(llm)を用いた法務専門家の効果的なコラボレーションを促進するための新しい枠組みを提案する(テーマ分析のフェーズ2,テーマの探索(フェーズ3),テーマの観点によるデータ分類(キックスタートフェーズ4)。 盗難に関する刑事裁判所の意見から, 事実のデータセット(n=785)の分析にこの枠組みを用いた。 分析の目的は、典型的な盗難のクラスを見つけることだった。 その結果,OpenAI の GPT-4 という LLM が適切な初期符号を生成し,専門家のフィードバックに基づいてコードの品質を向上させることができた。 彼らはまた、モデルが主題の観点からの事実記述のゼロショット分類でうまくいったことを示唆している。 最後に、llmが自動的に発見したテーマは、法律の専門家が到達したテーマとかなりよく一致しているようだ。 これらの発見は法的な研究者によって、LSMをテーマ分析に組み込む決定や、他の帰納的コーディングプロジェクトへと導くために活用することができる。

関連論文リスト

• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• CLERC: A Dataset for Legal Case Retrieval and Retrieval-Augmented Analysis Generation [44.67578050648625]
  我々は、大規模なオープンソース法定コーパスを、情報検索(IR)と検索拡張生成(RAG)をサポートするデータセットに変換する。 このデータセットCLERCは、(1)法的な分析のための対応する引用を見つけ、(2)これらの引用のテキストを、推論目標を支持するコジェント分析にコンパイルする能力に基づいて、モデルのトレーニングと評価のために構築される。
  論文  参考訳（メタデータ） (2024-06-24T23:57:57Z)
• Bridging Law and Data: Augmenting Reasoning via a Semi-Structured Dataset with IRAC methodology [22.740895683854568]
  本稿では,法シナリオ分析のためのベンチマークであるLEGALSEMIを紹介する。 LEGALSEMIは54の法的シナリオで構成されており、それぞれが包括的なIRAC(Issue, Rule, Application, Conclusion)フレームワークに基づいて、法の専門家によって厳格に注釈付けされている。 IRAC分析におけるLEGALSEMIの有用性を評価するための一連の実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T04:59:09Z)
• Topic Modelling Case Law Using a Large Language Model and a New Taxonomy for UK Law: AI Insights into Summary Judgment [0.0]
  本稿では,英国における要約判断事例をモデル化するための新しい分類法の開発と適用について述べる。 要約判断事例のキュレートされたデータセットを用いて,Large Language Model Claude 3 Opusを用いて,機能的トピックとトレンドを探索する。 クロード3オプスはこのトピックを87.10%の精度で正しく分類した。
  論文  参考訳（メタデータ） (2024-05-21T16:30:25Z)
• Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
  広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。 本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
  論文  参考訳（メタデータ） (2024-03-24T17:39:51Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Can ChatGPT Perform Reasoning Using the IRAC Method in Analyzing Legal Scenarios Like a Lawyer? [14.103170412148584]
  IRAC法によるコーパスの解析にChatGPTを適用した。 コーパス内の各シナリオは、半構造化形式で完全なIRAC分析で注釈付けされる。 また, IRAC分析におけるChatGPTの初回評価を行い, 法的専門職の分析との整合性について検討した。
  論文  参考訳（メタデータ） (2023-10-23T12:51:49Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Language Model Decoding as Likelihood-Utility Alignment [54.70547032876017]
  モデルの有効性がタスク固有の実用性の概念とどのように一致しているかについて、暗黙の仮定に基づいて、デコード戦略をグループ化する分類法を導入する。 具体的には、様々なタスクの集合における予測の可能性と有用性の相関を解析することにより、提案された分類を裏付ける最初の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-10-13T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。