論文の概要: DAHL: Domain-specific Automated Hallucination Evaluation of Long-Form Text through a Benchmark Dataset in Biomedicine

• arxiv url: http://arxiv.org/abs/2411.09255v1
• Date: Thu, 14 Nov 2024 07:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:29.064728
• Title: DAHL: Domain-specific Automated Hallucination Evaluation of Long-Form Text through a Benchmark Dataset in Biomedicine
• Title（参考訳）: DAHL:バイオメディシンのベンチマークデータセットを用いた長期テキストの自動幻覚評価
• Authors: Jean Seo, Jongwon Lim, Dongjun Jang, Hyopil Shin,
• Abstract要約: 本稿では,長期テキスト生成における幻覚評価のためのベンチマークデータセットと自動評価システムであるDAHLを紹介する。 ベンチマークデータセットは29のカテゴリにまたがる8,573の質問からなる。DAHLは、応答を原子単位に分解することで、大規模言語モデル(LLM)における事実強調幻覚を評価する。 これらの反応の精度を平均してDAHLスコアを生成し、幻覚をより深く評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce DAHL, a benchmark dataset and automated evaluation system designed to assess hallucination in long-form text generation, specifically within the biomedical domain. Our benchmark dataset, meticulously curated from biomedical research papers, consists of 8,573 questions across 29 categories. DAHL evaluates fact-conflicting hallucinations in Large Language Models (LLMs) by deconstructing responses into atomic units, each representing a single piece of information. The accuracy of these responses is averaged to produce the DAHL Score, offering a more in-depth evaluation of hallucinations compared to previous methods that rely on multiple-choice tasks. We conduct experiments with 8 different models, finding that larger models tend to hallucinate less; however, beyond a model size of 7 to 8 billion parameters, further scaling does not significantly improve factual accuracy. The DAHL Score holds potential as an efficient alternative to human-annotated preference labels, being able to be expanded to other specialized domains. We release the dataset and code in public.
• Abstract（参考訳）: 本稿では,長期テキスト生成における幻覚,特にバイオメディカル領域における評価のためのベンチマークデータセットと自動評価システムであるDAHLを紹介する。 バイオメディカル研究論文から慎重に収集したベンチマークデータセットは、29のカテゴリにまたがる8,573の質問から成り立っている。 DAHLは、応答を原子単位に分解することで、大規模言語モデル(LLM)におけるファクトコンプレッションの幻覚を評価する。 これらの応答の精度は、DAHLスコアを生成するために平均され、複数の選択タスクに依存する従来の方法と比較して、より深い幻覚の評価を提供する。 我々は8つの異なるモデルを用いて実験を行い、より大きなモデルでは幻覚が小さくなる傾向があるが、モデルのサイズが70億から80億のパラメータを超えると、さらなるスケーリングは事実の精度を著しく改善しない。 DAHLスコアは、人間に注釈付けされた選好ラベルの効率的な代替手段としての可能性を秘めており、他の特別なドメインにも拡張することができる。 データセットとコードを公開しています。

関連論文リスト

• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models [18.984165679347026]
  Self-BioRAGは、説明文の生成、ドメイン固有の文書の検索、生成したレスポンスの自己参照を専門とする、バイオメディカルテキストに信頼できるフレームワークである。 84kのバイオメディカル・インストラクション・セットを用いて、カスタマイズされた反射トークンで生成された説明を評価できるセルフビオRAGを訓練する。
  論文  参考訳（メタデータ） (2024-01-27T02:29:42Z)
• Integrating curation into scientific publishing to train AI models [1.6982459897303823]
  我々は,複数モーダルデータキュレーションを学術出版プロセスに組み込んで,セグメント化された図形パネルやキャプションに注釈を付ける。 SourceData-NLPというデータセットには、620,000以上の注釈付きバイオメディカルエンティティが含まれている。 我々は、名前付き認識、図形キャプションを構成パネルに分割すること、コンテキスト依存型セマンティックタスクを用いて、AIモデルをトレーニングするためのデータセットの有用性を評価する。
  論文  参考訳（メタデータ） (2023-10-31T13:22:38Z)
• MedEval: A Multi-Level, Multi-Task, and Multi-Domain Medical Benchmark for Language Model Evaluation [22.986061896641083]
  MedEvalは、医療のための言語モデルの開発を促進するために、マルチレベル、マルチタスク、マルチドメインの医療ベンチマークである。 22,779の文と21,228のレポートを収集し、専門家のアノテーションを複数のレベルで提供し、データの詳細な使用可能性を提供します。
  論文  参考訳（メタデータ） (2023-10-21T18:59:41Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Med-HALT: Medical Domain Hallucination Test for Large Language Models [0.0]
  本研究では,大規模言語モデル(LLM)における幻覚による課題に焦点を当てた。 我々は,幻覚の評価と低減を目的とした新しいベンチマークとデータセット,Med-HALT (Medical Domain Hallucination Test) を提案する。
  論文  参考訳（メタデータ） (2023-07-28T06:43:04Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。