Fugu-MT 論文翻訳(概要): Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses

論文の概要: Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses

arxiv url: http://arxiv.org/abs/2407.05474v1
Date: Sun, 7 Jul 2024 19:19:32 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 17:39:22.157818
Title: Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses
Title（参考訳）: システム応答における摂動に基づく合成データ生成による幻覚検出の強化
Authors: Dongxu Zhang, Varun Gangal, Barrett Martin Lattimer, Yi Yang,
Abstract要約: 本稿では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。実験結果から、我々の生成したデータセットを微調整したT5ベースモデルが、最先端のゼロショット検出器を超越していることが判明した。
参考スコア（独自算出の注目度）: 25.692970375644435
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Detecting hallucinations in large language model (LLM) outputs is pivotal, yet traditional fine-tuning for this classification task is impeded by the expensive and quickly outdated annotation process, especially across numerous vertical domains and in the face of rapid LLM advancements. In this study, we introduce an approach that automatically generates both faithful and hallucinated outputs by rewriting system responses. Experimental findings demonstrate that a T5-base model, fine-tuned on our generated dataset, surpasses state-of-the-art zero-shot detectors and existing synthetic generation methods in both accuracy and latency, indicating efficacy of our approach.
Abstract（参考訳）: 大規模言語モデル(LLM)出力における幻覚の検出は重要であるが、この分類タスクの従来の微調整は、特に多くの垂直領域と高速LLM進歩の面において、高価で迅速な時代遅れのアノテーションプロセスによって妨げられている。本研究では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。実験結果から,我々の生成したデータセットを微調整したT5ベースモデルが,最先端のゼロショット検出器および既存の合成生成手法を精度とレイテンシの両方で超越し,提案手法の有効性が示唆された。

関連論文リスト

Generating on Generated: An Approach Towards Self-Evolving Diffusion Models [58.05857658085845]
再帰的自己改善(Recursive Self-Improvement、RSI)は、インテリジェンスシステムがその能力を自律的に改善することを可能にする。本稿では、テキスト・画像拡散モデルにおけるRSIの適用について検討し、合成データによるトレーニング崩壊の課題に対処する。
論文参考訳（メタデータ） (2025-02-14T07:41:47Z)
HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文参考訳（メタデータ） (2025-02-12T04:17:02Z)
Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [66.71616369573715]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文参考訳（メタデータ） (2025-02-10T03:43:55Z)
Enhancing Hallucination Detection through Noise Injection [9.582929634879932]
大型言語モデル(LLM)は、幻覚として知られる、もっとも不正確な応答を生成する傾向にある。ベイズ感覚のモデル不確実性を考慮し,検出精度を著しく向上できることを示す。サンプリング中にモデルパラメータの適切なサブセット、あるいは等価に隠されたユニットアクティベーションを摂動する、非常に単純で効率的なアプローチを提案する。
論文参考訳（メタデータ） (2025-02-06T06:02:20Z)
Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems [1.0124625066746595]
本稿では,DeepSeek Few-shotの最適化を導入し,反復的なプロンプトエンジニアリングによりラベル生成の弱さを高める。下流モデルの性能を大幅に向上させる高品質なアノテーションを実現する。さらに、これらの最適化アノテーションに基づいてMistral-7B-Instruct-v0.3モデルを微調整し、リソース制限設定における幻覚を正確に検出する。
論文参考訳（メタデータ） (2025-01-28T01:26:22Z)
Ctrl-GenAug: Controllable Generative Augmentation for Medical Sequence Classification [16.02675888386905]
Ctrl-GenAugは新規で汎用的な生成拡張フレームワークである。高度に意味論的およびシーケンシャルな塩基配列合成を可能にし、誤って合成されたサンプルを抑圧する。
論文参考訳（メタデータ） (2024-09-25T16:58:19Z)
PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文参考訳（メタデータ） (2024-04-06T20:02:20Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文参考訳（メタデータ） (2023-09-30T05:20:02Z)
A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。生成過程における幻覚を積極的に検出・緩和する手法を提案する。提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。