論文の概要: Zero-shot Temporal Relation Extraction with ChatGPT

• arxiv url: http://arxiv.org/abs/2304.05454v1
• Date: Tue, 11 Apr 2023 18:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:03:52.587773
• Title: Zero-shot Temporal Relation Extraction with ChatGPT
• Title（参考訳）: ChatGPTを用いたゼロショット時間関係抽出
• Authors: Chenhan Yuan, Qianqian Xie, Sophia Ananiadou
• Abstract要約: ゼロショット時間関係抽出におけるChatGPTの能力について検討する。 実験の結果,ChatGPTの性能は教師付き手法と大きな差があることが判明した。 ChatGPTは教師付きメソッドよりも小さな関係クラスを正しく推論できる。
• 参考スコア（独自算出の注目度）: 17.489075240435344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of temporal relation extraction is to infer the temporal relation between two events in the document. Supervised models are dominant in this task. In this work, we investigate ChatGPT's ability on zero-shot temporal relation extraction. We designed three different prompt techniques to break down the task and evaluate ChatGPT. Our experiments show that ChatGPT's performance has a large gap with that of supervised methods and can heavily rely on the design of prompts. We further demonstrate that ChatGPT can infer more small relation classes correctly than supervised methods. The current shortcomings of ChatGPT on temporal relation extraction are also discussed in this paper. We found that ChatGPT cannot keep consistency during temporal inference and it fails in actively long-dependency temporal inference.
• Abstract（参考訳）: 時間的関係抽出の目標は、文書内の2つの事象の間の時間的関係を推測することである。 このタスクでは、教師付きモデルが支配的です。 本研究では,ゼロショット時間関係抽出におけるChatGPTの能力について検討する。 タスクを分解し、ChatGPTを評価するために、3つの異なるプロンプトテクニックを設計した。 実験の結果,chatgptの性能は教師あり手法と大きなギャップがあり,プロンプトの設計に大きく依存していることがわかった。 さらに、ChatGPTは教師付きメソッドよりも、より小さな関係クラスを正しく推論できることを示す。 本稿では,ChatGPTの時間的関係抽出における問題点についても論じる。 chatgptは時間的推論の間に一貫性を保ち得ず、アクティブな時間的推論では失敗することがわかった。

関連論文リスト

• Is ChatGPT the Future of Causal Text Mining? A Comprehensive Evaluation and Analysis [8.031131164056347]
  本研究はChatGPTの因果テキストマイニング機能に関する総合的な評価を行う。 一般的な英語データセットを超えて拡張するベンチマークを導入する。 また、ChatGPTと従来のアプローチとの公正な比較を保証するための評価フレームワークも提供する。
  論文  参考訳（メタデータ） (2024-02-22T12:19:04Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Can You Follow Me? Testing Situational Understanding in ChatGPT [17.52769657390388]
  situational understanding (SU)は、人間のようなAIエージェントにとって重要な能力である。 チャット指向モデルにおけるSUテストのための新しい合成環境を提案する。 タスクの基本的な単純さにもかかわらず、モデルの性能は正しい環境状態を維持することができないことを反映している。
  論文  参考訳（メタデータ） (2023-10-24T19:22:01Z)
• ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal, Causal, and Discourse Relations [52.26802326949116]
  対話型大規模言語モデルChatGPTの性能を,文間関係に基づいて定量的に評価する。 ChatGPTは因果関係の検出と推論において極めて優れた能力を示す。 既存の明示的な談話接続物との談話関係の大多数を特定できるが、暗黙的な談話関係は依然として恐ろしい課題である。
  論文  参考訳（メタデータ） (2023-04-28T13:14:36Z)
• ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
  ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。 既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。 2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
  論文  参考訳（メタデータ） (2023-04-27T11:33:48Z)
• Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
  NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。 実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。 我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
  論文  参考訳（メタデータ） (2023-03-07T16:57:20Z)
• Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
  チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。 そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-19T12:29:33Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。