Fugu-MT 論文翻訳(概要): Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses

論文の概要: Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses

arxiv url: http://arxiv.org/abs/2407.05474v1
Date: Sun, 7 Jul 2024 19:19:32 GMT
ステータス: 翻訳完了
システム内更新日: 2024-07-09 17:39:22.157818
Title: Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses
Title（参考訳）: システム応答における摂動に基づく合成データ生成による幻覚検出の強化
Authors: Dongxu Zhang, Varun Gangal, Barrett Martin Lattimer, Yi Yang,
Abstract要約: 本稿では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。実験結果から、我々の生成したデータセットを微調整したT5ベースモデルが、最先端のゼロショット検出器を超越していることが判明した。
参考スコア（独自算出の注目度）: 25.692970375644435
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Detecting hallucinations in large language model (LLM) outputs is pivotal, yet traditional fine-tuning for this classification task is impeded by the expensive and quickly outdated annotation process, especially across numerous vertical domains and in the face of rapid LLM advancements. In this study, we introduce an approach that automatically generates both faithful and hallucinated outputs by rewriting system responses. Experimental findings demonstrate that a T5-base model, fine-tuned on our generated dataset, surpasses state-of-the-art zero-shot detectors and existing synthetic generation methods in both accuracy and latency, indicating efficacy of our approach.
Abstract（参考訳）: 大規模言語モデル(LLM)出力における幻覚の検出は重要であるが、この分類タスクの従来の微調整は、特に多くの垂直領域と高速LLM進歩の面において、高価で迅速な時代遅れのアノテーションプロセスによって妨げられている。本研究では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。実験結果から,我々の生成したデータセットを微調整したT5ベースモデルが,最先端のゼロショット検出器および既存の合成生成手法を精度とレイテンシの両方で超越し,提案手法の有効性が示唆された。

関連論文リスト

KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models [17.435794516702256]
大規模言語モデル(LLM)は自然言語処理(NLP)の開発に大きく進歩している。モデル幻覚は、複雑な原因のため、自然言語生成(NLG)タスクにおいて依然として大きな課題である。この研究は、生成モデルにおける特定の幻覚の問題を緩和し、実世界のアプリケーションにおけるその堅牢性と信頼性を高めるための新しいパラダイムを導入する。
論文参考訳（メタデータ） (2025-03-25T09:18:27Z)
Monitoring Decoding: Mitigating Hallucination via Evaluating the Factuality of Partial Response during Generation [9.137042895376343]
大規模な言語モデルは幻覚に影響を受けやすいため、真に正しくない内容を生成する。このようなリスクを軽減する既存の方法は、しばしば複数の全世代をサンプリングすることに依存する。生成プロセスを動的に監視する新しいフレームワークであるモニタリングデコーディングを導入する。
論文参考訳（メタデータ） (2025-03-05T01:51:03Z)
Generating on Generated: An Approach Towards Self-Evolving Diffusion Models [58.05857658085845]
再帰的自己改善(Recursive Self-Improvement、RSI)は、インテリジェンスシステムがその能力を自律的に改善することを可能にする。本稿では、テキスト・画像拡散モデルにおけるRSIの適用について検討し、合成データによるトレーニング崩壊の課題に対処する。
論文参考訳（メタデータ） (2025-02-14T07:41:47Z)
HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文参考訳（メタデータ） (2025-02-12T04:17:02Z)
Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [66.71616369573715]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文参考訳（メタデータ） (2025-02-10T03:43:55Z)
Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems [1.0124625066746595]
本稿では,DeepSeek Few-shotの最適化を導入し,反復的なプロンプトエンジニアリングによりラベル生成の弱さを高める。下流モデルの性能を大幅に向上させる高品質なアノテーションを実現する。さらに、これらの最適化アノテーションに基づいてMistral-7B-Instruct-v0.3モデルを微調整し、リソース制限設定における幻覚を正確に検出する。
論文参考訳（メタデータ） (2025-01-28T01:26:22Z)
Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
論文参考訳（メタデータ） (2024-11-17T09:39:50Z)
Controlled Automatic Task-Specific Synthetic Data Generation for Hallucination Detection [7.167234584287035]
幻覚検出のための非自明なタスク固有合成データセットを自動生成する新しい手法を提案する。提案手法は,幻覚パターンのガイダンスと生成中の言語スタイルのアライメントを用いて,2段階の世代選択パイプラインを特徴とする。我々の幻覚検出装置は、合成データセットで訓練され、ICL(In-context-learning)ベースの検出器よりも32%大きなマージンで優れていた。
論文参考訳（メタデータ） (2024-10-16T06:31:59Z)
Ctrl-GenAug: Controllable Generative Augmentation for Medical Sequence Classification [16.02675888386905]
Ctrl-GenAugは新規で汎用的な生成拡張フレームワークである。高度に意味論的およびシーケンシャルな塩基配列合成を可能にし、誤って合成されたサンプルを抑圧する。
論文参考訳（メタデータ） (2024-09-25T16:58:19Z)
Optimizing Resource Consumption in Diffusion Models through Hallucination Early Detection [87.22082662250999]
拡散過程の開始時に不正確な世代を迅速に検出する新しいパラダイムであるHEaD(Hallucination Early Detection)を導入する。 HEaDは計算資源を節約し,生成過程を高速化して完全な画像を得ることを示す。その結果,HEaDは2つのオブジェクトのシナリオで生成時間の最大12%を節約できることがわかった。
論文参考訳（メタデータ） (2024-09-16T18:00:00Z)
PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文参考訳（メタデータ） (2024-04-06T20:02:20Z)
Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。 MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文参考訳（メタデータ） (2024-02-13T18:59:05Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文参考訳（メタデータ） (2023-09-30T05:20:02Z)
A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。生成過程における幻覚を積極的に検出・緩和する手法を提案する。提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。