論文の概要: Harnessing GPT-3.5-turbo for Rhetorical Role Prediction in Legal Cases

• arxiv url: http://arxiv.org/abs/2310.17413v1
• Date: Thu, 26 Oct 2023 14:19:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 20:21:46.402004
• Title: Harnessing GPT-3.5-turbo for Rhetorical Role Prediction in Legal Cases
• Title（参考訳）: gpt-3.5-turboを用いた訴訟における修辞的役割予測
• Authors: Anas Belfathi, Nicolas Hernandez, Laura Monceaux
• Abstract要約: 訴訟の修辞的役割予測タスクにおいて,大規模な事前学習型生成変換器(GPT-3.5-turbo)を問うための一段階適用手法の総合的研究を提案する。 実例数,ラベルの定義,(ラベル付き)テキストコンテキストの提示,およびこのコンテキストに関する特定の質問が,モデルの性能に肯定的な影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 0.16385815610837165
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a comprehensive study of one-stage elicitation techniques for querying a large pre-trained generative transformer (GPT-3.5-turbo) in the rhetorical role prediction task of legal cases. This task is known as requiring textual context to be addressed. Our study explores strategies such as zero-few shots, task specification with definitions and clarification of annotation ambiguities, textual context and reasoning with general prompts and specific questions. We show that the number of examples, the definition of labels, the presentation of the (labelled) textual context and specific questions about this context have a positive influence on the performance of the model. Given non-equivalent test set configurations, we observed that prompting with a few labelled examples from direct context can lead the model to a better performance than a supervised fined-tuned multi-class classifier based on the BERT encoder (weighted F1 score of = 72%). But there is still a gap to reach the performance of the best systems = 86%) in the LegalEval 2023 task which, on the other hand, require dedicated resources, architectures and training.
• Abstract（参考訳）: 訴訟の修辞的役割予測タスクにおいて,大規模な事前学習型生成変換器(GPT-3.5-turbo)を問うための一段階適用手法の総合的研究を提案する。 このタスクは、テキストコンテキストに対処する必要があることで知られる。 本研究は, ゼロフェーショット, 定義付きタスク仕様, アノテーションのあいまいさの明確化, テキストコンテキスト, 一般的なプロンプトと特定の質問による推論などの戦略を検討する。 実例数,ラベル定義,(ラベル付き)テクストコンテキストの提示,およびこの文脈に関する具体的な質問が,モデルの性能に肯定的な影響を与えていることを示す。 非等価なテストセットの設定を考えると、直接コンテキストからラベル付けされたいくつかの例を推し進めることで、BERTエンコーダ(重み付きF1スコア=72%)に基づいた教師付き微調整型マルチクラス分類器よりも優れたパフォーマンスにモデルが導かれることがわかりました。 しかし、法律上の2023年のタスクにおいて、最高のシステム(=86%)のパフォーマンスに到達するには、依然としてギャップがあり、それに対して、専門的なリソース、アーキテクチャ、トレーニングが必要です。

関連論文リスト

• LegalSeg: Unlocking the Structure of Indian Legal Judgments Through Rhetorical Role Classification [6.549338652948716]
  7000以上の文書と140万の文で構成され、7つの修辞的な役割をラベル付けした、このタスクのための最大の注釈付きデータセットであるLegalSegを紹介します。 以上の結果から,より広義の文脈,構造的関係,逐次的な文情報を含むモデルが,文レベルの特徴にのみ依存するモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-09T10:07:05Z)
• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
  フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。 マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。 本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
  論文  参考訳（メタデータ） (2021-02-24T12:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。