論文の概要: Assessing the Reasoning Abilities of ChatGPT in the Context of Claim Verification
- arxiv url: http://arxiv.org/abs/2402.10735v2
- Date: Wed, 20 Mar 2024 19:14:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 19:07:50.742182
- Title: Assessing the Reasoning Abilities of ChatGPT in the Context of Claim Verification
- Title（参考訳）: クレーム検証の文脈におけるChatGPTの推論能力の評価
- Authors: John Dougrez-Lewis, Mahmud Elahi Akhter, Yulan He, Maria Liakata,
- Abstract要約: GPT-3.5-Turbo と GPT-4 の推論能力について検討した。
我々の研究は、ChatGPTの推論プロセスが人間のような推論を反映する可能性が低いことを示唆する研究の組織に寄与する。
- 参考スコア（独自算出の注目度）: 19.94897851500131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reasoning capabilities of LLMs are currently hotly debated. We examine the issue from the perspective of claim/rumour verification. We propose the first logical reasoning framework designed to break down any claim or rumour paired with evidence into the atomic reasoning steps necessary for verification. Based on our framework, we curate two annotated collections of such claim/evidence pairs: a synthetic dataset from Wikipedia and a real-world set stemming from rumours circulating on Twitter. We use them to evaluate the reasoning capabilities of GPT-3.5-Turbo and GPT-4 (hereinafter referred to as ChatGPT) within the context of our framework, providing a thorough analysis. Our results show that ChatGPT struggles in abductive reasoning, although this can be somewhat mitigated by using manual Chain of Thought (CoT) as opposed to Zero-Shot (ZS) and ZS CoT approaches. Our study contributes to the growing body of research suggesting that ChatGPT's reasoning processes are unlikely to mirror human-like reasoning, and that LLMs need to be more rigorously evaluated to distinguish between hype and actual capabilities, especially in high-stakes real-world tasks such as claim verification.
- Abstract（参考訳）: LLMの理由付け能力は、現在ホットな議論がなされている。
クレーム/噂の検証の観点から問題を考察する。
証拠と組み合わせた主張や噂を、検証に必要な原子的推論ステップに分解するために設計された最初の論理的推論フレームワークを提案する。
当社のフレームワークをベースとして,ウィキペディアの合成データセットと,Twitter上で流される噂から生ずる実世界のデータセットという,このような主張/証拠のペアの注釈付きコレクションを2つキュレートした。
GPT-3.5-Turbo と GPT-4 (以下 ChatGPT と呼ぶ) の推論能力をフレームワークのコンテキスト内で評価し、徹底的な分析を行う。
以上の結果から,ChatGPTはZero-Shot (ZS) やZS CoT (ZS) のアプローチに対して,手動のChain of Thought (CoT) を用いることによって多少緩和できるが,帰納的推論に苦慮していることが示された。
本研究は,ChatGPTの推論プロセスが人間ライクな推論を反映する可能性が低いこと,特にクレーム検証のような実世界の課題において,ハイプと実際の能力を区別するために,LCMをより厳格に評価する必要があることを示唆する研究の組織に寄与する。
関連論文リスト
- Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners [19.40385041079461]
大きな言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。
まず、CoTステップの粒度におけるCoT忠実度問題について検討し、2つの推論パラダイムを特定した。
次に、推論中の文脈、CoT、回答の因果関係を共同で分析する。
論文 参考訳（メタデータ） (2024-05-29T09:17:46Z) - RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots [6.893551641325889]
ChatGPTの幻覚(もっともらしいが偽の情報を生み出す)は大きな課題となる。
本稿では、外部知識をプロンプトと統合することにより、検索・拡張生成が幻覚にどのように対処できるかを考察する。
以上の結果から,RAGの精度は向上するが,事前学習されたモデル理解と直接矛盾する場合は,まだ誤解が残る可能性がある。
論文 参考訳（メタデータ） (2024-03-02T12:19:04Z) - LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。
提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。
GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文 参考訳（メタデータ） (2024-01-01T13:53:53Z) - Self-Contradictory Reasoning Evaluation and Detection [31.452161594896978]
本稿では,自己矛盾推論(Self-Contra)について考察する。
LLMは文脈情報理解や常識を含むタスクの推論において矛盾することが多い。
GPT-4は52.2%のF1スコアで自己コントラを検出できる。
論文 参考訳（メタデータ） (2023-11-16T06:22:17Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-03T12:35:29Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳（メタデータ） (2023-10-02T10:14:43Z) - How susceptible are LLMs to Logical Fallacies? [5.723715910568911]
論理的誤りに対する大規模言語モデルの堅牢性を評価するための診断ベンチマークであるLOGICOMを提案する。
本稿では,GPT-3.5とGPT-4の性能を評価するために,議論の的となっているトピックを含むデータセットを用いて評価を行う。
以上より, GPT-3.5 と GPT-4 は理屈によって意見の調整が可能であることが示唆された。
論文 参考訳（メタデータ） (2023-08-18T23:07:29Z) - Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via
Debate [19.887103433032774]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。
この研究は、LLMの推論を議論のような会話で議論することで検証する。
優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
論文 参考訳（メタデータ） (2023-05-22T15:47:31Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳（メタデータ） (2023-03-11T01:19:01Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳（メタデータ） (2022-12-20T05:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。