論文の概要: DetectBench: Can Large Language Model Detect and Piece Together Implicit Evidence?

• arxiv url: http://arxiv.org/abs/2406.12641v2
• Date: Mon, 11 Nov 2024 05:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:04:31.870121
• Title: DetectBench: Can Large Language Model Detect and Piece Together Implicit Evidence?
• Title（参考訳）: DetectBench: 大規模言語モデルでは、暗黙の証拠を検出および分析できますか?
• Authors: Zhouhong Gu, Lin Zhang, Xiaoxuan Zhu, Jiangjie Chen, Wenhao Huang, Yikai Zhang, Shusen Wang, Zheyu Ye, Yan Gao, Hongwei Feng, Yanghua Xiao,
• Abstract要約: 本稿では,長いコンテキスト内で暗黙的な証拠を検出し,まとめる能力を検証するために,DeuterBenchというベンチマークを提案する。 ベンチマークには3,928の多重選択質問が含まれており、平均的なトークンは1問あたり944である。 各質問には平均4.55個の暗黙の証拠が含まれており、解法は正しい解を見つけるためには7.62個の論理ジャンプが必要である。
• 参考スコア（独自算出の注目度）: 44.59292284418803
• License:
• Abstract: Detecting evidence within the context is a key step in the process of reasoning task. Evaluating and enhancing the capabilities of LLMs in evidence detection will strengthen context-based reasoning performance. This paper proposes a benchmark called DetectBench for verifying the ability to detect and piece together implicit evidence within a long context. DetectBench contains 3,928 multiple-choice questions, with an average of 994 tokens per question. Each question contains an average of 4.55 pieces of implicit evidence, and solving the problem typically requires 7.62 logical jumps to find the correct answer. To enhance the performance of LLMs in evidence detection, this paper proposes Detective Reasoning Prompt and Finetune. Experiments demonstrate that the existing LLMs' abilities to detect evidence in long contexts are far inferior to humans. However, the Detective Reasoning Prompt effectively enhances the capability of powerful LLMs in evidence detection, while the Finetuning method shows significant effects in enhancing the performance of weaker LLMs. Moreover, when the abilities of LLMs in evidence detection are improved, their final reasoning performance is also enhanced accordingly.
• Abstract（参考訳）: コンテキスト内のエビデンスを検出することは、推論タスクのプロセスにおける重要なステップである。 証拠検出におけるLCMの性能評価と強化により,文脈に基づく推論性能が向上する。 本稿では,長いコンテキスト内で暗黙的な証拠を検出し,まとめる能力を検証するために,DeuterBenchというベンチマークを提案する。 DetectBenchには3,928の多重選択質問があり、1問あたり平均994のトークンがある。 各質問には平均4.55個の暗黙の証拠が含まれており、解法は正しい解を見つけるためには7.62個の論理ジャンプが必要である。 証拠検出におけるLLMの性能向上を目的として, 検出共振器とファインチューンを提案する。 実験により、LLMが長い文脈で証拠を検出する能力は人間よりもはるかに劣っていることが示された。 しかし,検出推論プロンプトは証拠検出における強力なLDMの能力を効果的に向上させる一方で,ファインタニング法は弱いLDMの性能向上に重要な効果を示す。 また、証拠検出におけるLCMの能力が向上すると、その最終的な推論性能も向上する。

関連論文リスト

• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。 既存の属性に対するアプローチはRAG設定でのみ評価されている。 これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。 そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)
• Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate [75.10515686215177]
  大規模言語モデル(LLM)はテキスト生成に優れるが、事実チェックにおいて忠実な説明を生成する能力は依然として過小評価されている。 多様な役割を持つエージェントとして複数のLSMを利用するマルチエージェント・デベート・リファインメント(MADR)フレームワークを提案する。 MADRは、最終的な説明が厳密な検証を行い、不誠実な要素の可能性を著しく低減し、提示された証拠と密接に一致させることを保証する。
  論文  参考訳（メタデータ） (2024-02-12T04:32:33Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Can Large Language Models Understand Content and Propagation for Misinformation Detection: An Empirical Study [26.023148371263012]
  大きな言語モデル(LLM)は、自然言語の理解と推論における強力な能力に対して大きな注目を集めている。 本研究では,誤情報検出タスクにおけるLCMの性能について,総合的研究を行った。
  論文  参考訳（メタデータ） (2023-11-21T16:03:51Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [32.71672086718057]
  大規模言語モデル (LLM) は, 推論作業における乱雑な内容や無関係な内容を扱う際に, 人間の認知バイアスに類似した障害パターンを示す。 コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。 COPは与えられたステートメントを慎重に分析し、冗長性を効率的に排除しながら、最も関連する情報を識別する。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。