論文の概要: Can GPT-4 Support Analysis of Textual Data in Tasks Requiring Highly Specialized Domain Expertise?

• arxiv url: http://arxiv.org/abs/2306.13906v1
• Date: Sat, 24 Jun 2023 08:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 18:19:05.116728
• Title: Can GPT-4 Support Analysis of Textual Data in Tasks Requiring Highly Specialized Domain Expertise?
• Title（参考訳）: GPT-4は高度な専門知識を必要とする課題におけるテキストデータの分析を支援するか?
• Authors: Jaromir Savelka, Kevin D. Ashley, Morgan A Gray, Hannes Westermann, Huihui Xu
• Abstract要約: GPT-4は、アノテーションガイドラインによって誘導され、十分に訓練された法学生のアノテーションと同等に実行される。 ガイドラインでは,GPT-4の予測を解析し,欠陥を識別・緩和する方法を実証した。
• 参考スコア（独自算出の注目度）: 0.8924669503280334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We evaluated the capability of generative pre-trained transformers~(GPT-4) in analysis of textual data in tasks that require highly specialized domain expertise. Specifically, we focused on the task of analyzing court opinions to interpret legal concepts. We found that GPT-4, prompted with annotation guidelines, performs on par with well-trained law student annotators. We observed that, with a relatively minor decrease in performance, GPT-4 can perform batch predictions leading to significant cost reductions. However, employing chain-of-thought prompting did not lead to noticeably improved performance on this task. Further, we demonstrated how to analyze GPT-4's predictions to identify and mitigate deficiencies in annotation guidelines, and subsequently improve the performance of the model. Finally, we observed that the model is quite brittle, as small formatting related changes in the prompt had a high impact on the predictions. These findings can be leveraged by researchers and practitioners who engage in semantic/pragmatic annotations of texts in the context of the tasks requiring highly specialized domain expertise.
• Abstract（参考訳）: 高度に専門的な専門知識を必要とするタスクにおけるテキストデータの解析において,GPT-4(Generative Pre-trained Transformer)の有効性を評価した。 具体的には,裁判所の意見を分析し,法的概念を解釈することに焦点を当てた。 その結果,GPT-4は,法学生のアノテータと同等に機能することがわかった。 その結果,GPT-4は比較的少ない性能で,バッチ予測を行うことができ,コスト削減に繋がることがわかった。 しかし、チェーン・オブ・ソート・プロンプトの導入は、このタスクの性能を著しく向上させるには至らなかった。 さらに,アノテーションガイドラインの欠陥を識別し軽減するためにgpt-4の予測を分析し,そのモデルの性能を向上させる方法を示した。 最後に,このモデルはかなり不安定であり,プロンプトの小さなフォーマット変更が予測に高い影響を与えていることを観察した。 これらの知見は、高度に専門的なドメイン専門知識を必要とするタスクのコンテキストにおいて、テキストの意味的/プラグマティックなアノテーションに携わる研究者や実践者によって活用できる。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Can GPT-4 learn to analyse moves in research article abstracts? [0.9999629695552195]
  我々は、自然言語のプロンプトを用いてアノテーションプロセスを自動化するため、GPT-4の余裕を生かしている。 8ショットのプロンプトは2つを用いた場合よりも有効であり、可変性の領域を示す例を含めることで、単一の文で複数の動きを認識できるGPT-4の能力を高めることが確認された。
  論文  参考訳（メタデータ） (2024-07-22T13:14:27Z)
• Identifying and Improving Disability Bias in GPT-Based Resume Screening [9.881826151448198]
  我々はChatGPTに、障害に関連するリーダーシップ賞、奨学金、パネルプレゼンテーション、会員シップで強化された同じ履歴書に対する履歴書のランク付けを依頼する。 GPT-4はこれらの拡張CVに対して偏見を示す。 この偏見は、DEIの原則と障害正義に基づいてカスタムGPTをトレーニングすることで、定量的に低減できることを示す。
  論文  参考訳（メタデータ） (2024-01-28T17:04:59Z)
• GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
  我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。 特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
  論文  参考訳（メタデータ） (2023-11-02T16:11:09Z)
• Black-Box Analysis: GPTs Across Time in Legal Textual Entailment Task [17.25356594832692]
  本稿では,COLIEE Task 4 データセット上での GPT-3.5 (ChatGPT) と GPT-4 の性能解析を行う。 予備的な実験結果から,法的なテキスト・エンタテインメント・タスクの処理におけるモデルの強みや弱点に関する興味深い知見が得られた。
  論文  参考訳（メタデータ） (2023-09-11T14:43:54Z)
• Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise Given to Students in Synthetic Dialogues [2.3361634876233817]
  AIチャットボットChatGPTのような大規模な言語モデルは、実践的な設定で家庭教師に建設的なフィードバックを提供する可能性を秘めている。 AIが生成したフィードバックの正確性はまだ不明であり、ChatGPTのようなモデルが効果的なフィードバックを提供する能力について研究している。
  論文  参考訳（メタデータ） (2023-07-05T04:14:01Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。