Fugu-MT 論文翻訳(概要): The Effects of Hallucinations in Synthetic Training Data for Relation Extraction

論文の概要: The Effects of Hallucinations in Synthetic Training Data for Relation Extraction

arxiv url: http://arxiv.org/abs/2410.08393v1
Date: Thu, 10 Oct 2024 22:00:16 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 03:36:35.276673
Title: The Effects of Hallucinations in Synthetic Training Data for Relation Extraction
Title（参考訳）: 関係抽出のための合成学習データにおける幻覚の効果
Authors: Steven Rogulsky, Nicholas Popovic, Michael Färber,
Abstract要約: 文書と文レベルにおける関係抽出の性能に及ぼす幻覚の影響について検討する。幻覚は、テキストから関係を抽出するモデルの能力を著しく損なう。本研究では,幻覚の検出手法を開発し,データ品質とモデル性能を向上させる。
参考スコア（独自算出の注目度）: 11.046770690972723
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Relation extraction is crucial for constructing knowledge graphs, with large high-quality datasets serving as the foundation for training, fine-tuning, and evaluating models. Generative data augmentation (GDA) is a common approach to expand such datasets. However, this approach often introduces hallucinations, such as spurious facts, whose impact on relation extraction remains underexplored. In this paper, we examine the effects of hallucinations on the performance of relation extraction on the document and sentence levels. Our empirical study reveals that hallucinations considerably compromise the ability of models to extract relations from text, with recall reductions between 19.1% and 39.2%. We identify that relevant hallucinations impair the model's performance, while irrelevant hallucinations have a minimal impact. Additionally, we develop methods for the detection of hallucinations to improve data quality and model performance. Our approaches successfully classify texts as either 'hallucinated' or 'clean,' achieving high F1-scores of 83.8% and 92.2%. These methods not only assist in removing hallucinations but also help in estimating their prevalence within datasets, which is crucial for selecting high-quality data. Overall, our work confirms the profound impact of relevant hallucinations on the effectiveness of relation extraction models.
Abstract（参考訳）: 関係抽出は知識グラフの構築に不可欠であり、トレーニング、微調整、評価モデルの基盤となる大きな高品質なデータセットがある。生成データ拡張(GDA)は、そのようなデータセットを拡張するための一般的なアプローチである。しかし、このアプローチは、しばしば、関係抽出への影響が過小評価されている、急激な事実のような幻覚をもたらす。本稿では,文書と文レベルの関係抽出性能に及ぼす幻覚の影響について検討する。我々の実証研究により、幻覚はテキストから関係を抽出するモデルの能力を著しく損なうことが明らかとなり、リコールの減少は19.1%から39.2%となる。関連する幻覚はモデルの性能を損なうが、無関係な幻覚は最小限の影響を与える。さらに,幻覚の検出手法を開発し,データ品質とモデル性能を向上させる。我々のアプローチは、テキストを「ハロシント」または「クリーン」に分類することに成功し、高いF1スコアは83.8%と92.2%である。これらの手法は幻覚を除去するだけでなく、高品質なデータを選択する上で欠かせないデータセット内の頻度を推定する上でも有効である。本研究は,関係抽出モデルの有効性に対する関連する幻覚の影響を総合的に確認する。

関連論文リスト

Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data [4.636499986218049]
マルチモーダル言語モデルは、その出力に幻覚を示し、信頼性を制限できる。本稿では, 崩壊した地盤データを作成することにより, これらのモデルのサンプル効率を向上させる手法を提案する。
論文参考訳（メタデータ） (2024-08-30T20:11:00Z)
Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
論文参考訳（メタデータ） (2024-08-18T10:07:02Z)
Synthetic Simplicity: Unveiling Bias in Medical Data Augmentation [0.7499722271664144]
医用画像などのデータ共有分野において、合成データがますます重要になっている。下流のニューラルネットワークは、しばしば、データソースとタスクラベルの間に強い相関があるときに、実データと合成データの急激な区別を利用する。このエクスプロイトは、真のタスク関連の複雑さではなく、表面的な特徴に過度に依存する、テクスティシビティ単純性バイアスとして現れます。
論文参考訳（メタデータ） (2024-07-31T15:14:17Z)
Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning [15.156359255401812]
そこで本研究では,異なるモデルの幻覚特異性に合わせたDFTGという命令データ生成フレームワークを提案する。幻覚ベンチマークによる実験結果から,本手法で生成した目標命令データの方が,従来よりも幻覚の緩和に有効であることが示唆された。
論文参考訳（メタデータ） (2024-04-16T07:14:32Z)
Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
論文参考訳（メタデータ） (2024-03-03T02:31:11Z)
A Data-Centric Approach To Generate Faithful and High Quality Patient Summaries with Large Language Models [11.218649399559691]
幻覚のないデータの微調整は、Llama 2の要約毎の幻覚を2.60から1.55に効果的に減少させる。一般的なメトリクスは、忠実さや品質とよく相関しないことがわかった。
論文参考訳（メタデータ） (2024-02-23T16:32:28Z)
HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文参考訳（メタデータ） (2023-11-22T04:52:58Z)
A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。生成過程における幻覚を積極的に検出・緩和する手法を提案する。提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文参考訳（メタデータ） (2023-07-08T14:25:57Z)
CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
論文参考訳（メタデータ） (2022-12-20T18:31:50Z)
Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文参考訳（メタデータ） (2022-10-24T13:30:54Z)
SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。