論文の概要: The Two Sides of the Coin: Hallucination Generation and Detection with LLMs as Evaluators for LLMs

• arxiv url: http://arxiv.org/abs/2407.09152v1
• Date: Fri, 12 Jul 2024 10:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 23:57:34.190913
• Title: The Two Sides of the Coin: Hallucination Generation and Detection with LLMs as Evaluators for LLMs
• Title（参考訳）: コインの2つの側面:LLMの幻覚生成とLLMの評価装置としてのLLMの検出
• Authors: Anh Thu Maria Bui, Saskia Felizitas Brech, Natalie Hußfeldt, Tobias Jennert, Melanie Ullrich, Timo Breuer, Narjes Nikzad Khasmakhi, Philipp Schaer,
• Abstract要約: 本研究は,CLEF ELOQUENT HalluciGen共有タスクへの参加を示す。 目的は、幻覚コンテンツの生成と検出の両方のための評価器を開発することである。 Llama 3, Gemma, GPT-3.5 Turbo, GPT-4の4つのLLMの能力について検討した。
• 参考スコア（独自算出の注目度）: 3.369883160242686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination detection in Large Language Models (LLMs) is crucial for ensuring their reliability. This work presents our participation in the CLEF ELOQUENT HalluciGen shared task, where the goal is to develop evaluators for both generating and detecting hallucinated content. We explored the capabilities of four LLMs: Llama 3, Gemma, GPT-3.5 Turbo, and GPT-4, for this purpose. We also employed ensemble majority voting to incorporate all four models for the detection task. The results provide valuable insights into the strengths and weaknesses of these LLMs in handling hallucination generation and detection tasks.
• Abstract（参考訳）: LLM(Large Language Models)における幻覚検出は,その信頼性を確保するために重要である。 本研究はCLEF ELOQUENT HalluciGen共有タスクへの参加について述べる。 Llama 3, Gemma, GPT-3.5 Turbo, GPT-4の4つのLLMの能力について検討した。 また,4つのモデルをすべて組み込むために,アンサンブル多数決を行った。 その結果,幻覚発生および検出タスクの処理におけるLLMの長所と短所について,貴重な知見が得られた。

関連論文リスト

• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• Evaluating and Enhancing Trustworthiness of LLMs in Perception Tasks [1.701722696403793]
  マルチモーダル大言語モデル(LLM)は、テキスト、画像、オーディオ、その他のデータ型を処理できる。 本稿では,LLMの幻覚検出戦略を体系的に評価した。 歩行者検出の例において,これらのLCMをビデオシーケンスに適用する際の幻覚検出手法の評価と拡張を行った。
  論文  参考訳（メタデータ） (2024-07-18T20:58:03Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• HaluEval-Wild: Evaluating Hallucinations of Language Models in the Wild [41.86776426516293]
  幻覚は、臨界領域における大きな言語モデル(LLM)の信頼性に重大な課題をもたらす。 野生におけるLSM幻覚を評価するために特別に設計された最初のベンチマークであるHaluEval-Wildを紹介する。
  論文  参考訳（メタデータ） (2024-03-07T08:25:46Z)
• Effectiveness Assessment of Recent Large Vision-Language Models [78.69439393646554]
  本稿では,多言語多言語モデル(LVLM)の専門的および汎用的な課題における能力を評価する。 私たちは、自然、医療、産業という3つの異なるアプリケーションシナリオで6つの挑戦的なタスクを採用しています。 我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T08:25:27Z)
• OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data [1.3981625092173873]
  本稿では,LLMの幻覚検出システムについて述べる。 SemEval-2024 Task 6のモデル非依存トラックで2位を獲得した。
  論文  参考訳（メタデータ） (2024-02-20T11:01:39Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。