論文の概要: Can GPT-3 Perform Statutory Reasoning?

• arxiv url: http://arxiv.org/abs/2302.06100v1
• Date: Mon, 13 Feb 2023 04:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 16:33:37.291970
• Title: Can GPT-3 Perform Statutory Reasoning?
• Title（参考訳）: gpt-3は法定推論を実行できるか?
• Authors: Andrew Blair-Stanek, Nils Holzenberger, Benjamin Van Durme
• Abstract要約: 我々は,SARA と呼ばれる定式化データセット上で,最も有能な GPT-3 モデルである text-davinci-003 の能力を考察した。 我々は, GPT-3 は SARA を基盤とする実際の米国法令の事前知識が不十分であることを発見した。
• 参考スコア（独自算出の注目度）: 37.66486350122862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Statutory reasoning is the task of reasoning with facts and statutes, which are rules written in natural language by a legislature. It is a basic legal skill. In this paper we explore the capabilities of the most capable GPT-3 model, text-davinci-003, on an established statutory-reasoning dataset called SARA. We consider a variety of approaches, including dynamic few-shot prompting, chain-of-thought prompting, and zero-shot prompting. While we achieve results with GPT-3 that are better than the previous best published results, we also identify several types of clear errors it makes. In investigating why these happen, we discover that GPT-3 has imperfect prior knowledge of the actual U.S. statutes on which SARA is based. More importantly, GPT-3 performs poorly at answering straightforward questions about simple synthetic statutes. By also posing the same questions when the synthetic statutes are written in sentence form, we find that some of GPT-3's poor performance results from difficulty in parsing the typical structure of statutes, containing subsections and paragraphs.
• Abstract（参考訳）: 法令推論は、立法府によって自然言語で書かれた規則である事実や法令を推論する作業である。 基本的な法的技能である。 本稿では,最も有能な GPT-3 モデルである text-davinci-003 について,SARA と呼ばれる定式化データセットを用いて検討する。 動的少ショットプロンプト、チェーンオブ思想プロンプト、ゼロショットプロンプトなど、さまざまなアプローチを検討します。 GPT-3で得られた結果は、これまでの最良な結果よりも優れているが、いくつかの明確な誤りも特定できる。 これらの原因を調査した結果、GPT-3 は SARA が基盤とする実際の米国法令の事前知識が不十分であることが判明した。 さらに重要なことは、GPT-3は単純な合成法則に関する簡単な質問に答えるには不十分である。 また, 合成規則が文体で書かれる際にも, 同じ疑問を呈示することにより, GPT-3の劣悪な性能の一部は, 段落や段落を含む規則の典型的構造を解析することの難しさから生じることがわかった。

関連論文リスト

• Large Language Models in Cryptocurrency Securities Cases: Can a GPT Model Meaningfully Assist Lawyers? [0.3441021278275805]
  GPT-3.5の法的推論とChatGPTの法的な起草能力について検討した。 我々は実生活の事例からGPT-3.5に事実パターンを供給し、その可能性を正しく判断する能力を評価する。 第2に、ChatGPTと弁護士が書いた苦情を審査員に評価させた。
  論文  参考訳（メタデータ） (2023-08-11T09:23:11Z)
• How is ChatGPT's behavior changing over time? [72.79311931941876]
  2023年3月から6月にかけてのGPT-3.5およびGPT-4の評価を行った。 GPT-3.5とGPT-4の両方の性能と挙動は時間とともに大きく変化することがわかった。
  論文  参考訳（メタデータ） (2023-07-18T06:56:08Z)
• Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics and Prompt Wording [0.0]
  GPT-3を混乱させるものは何か、モデルが特定のセンシティブなトピックにどう反応するか、そしてモデル応答にどのような影響があるのかを解析する。 GPT-3は明らかな陰謀やステレオタイプと正しく一致しないが、一般的な誤解や論争では誤りを犯す。 モデル応答はプロンプトや設定に不整合であり、GPT-3の信頼性の欠如を強調している。
  論文  参考訳（メタデータ） (2023-06-09T19:07:31Z)
• Gpt-4: A Review on Advancements and Opportunities in Natural Language Processing [0.0]
  Generative Pre-trained Transformer 4 (GPT-4) は、OpenAIが開発したGPTシリーズの第4世代言語モデルである。 GPT-4は、GPT-3よりもモデルサイズが大きく(1兆ドル以上)、多言語能力、文脈理解の改善、推論能力が優れている。 GPT-4の潜在的な応用には、チャットボット、パーソナルアシスタント、言語翻訳、テキスト要約、質問応答などがある。
  論文  参考訳（メタデータ） (2023-05-04T22:46:43Z)
• Systematicity in GPT-3's Interpretation of Novel English Noun Compounds [7.039267642892591]
  我々は、Levinらの実験データをGPT-3世代と比較し、高い類似性を見出した。 我々は、GPT-3が個々の語彙項目以上のことを推論しているという証拠を見つけることができない。 これらの結果は,大規模言語モデルが潜時的により深い理論を符号化するかどうかを評価する際に,低レベルの分布正則性を制御することの重要性を強調した。
  論文  参考訳（メタデータ） (2022-10-18T00:25:24Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)
• Who is GPT-3? An Exploration of Personality, Values and Demographics [0.4791233143264229]
  GPT-3のような言語モデルは、研究コミュニティで怒りを引き起こしている。 本論文は,GPT-3とは何者かという,関連する疑問に答える。
  論文  参考訳（メタデータ） (2022-09-28T18:07:02Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Memory-assisted prompt editing to improve GPT-3 after deployment [55.62352349324132]
  シミュレーションされた)ユーザが、デプロイされたGPT-3を対話的に教える方法を示し、その精度を基本的な語彙タスクで2倍にする。 私たちのシンプルなアイデアは、デプロイされたモデルを強化するための第一歩です。
  論文  参考訳（メタデータ） (2022-01-16T10:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。