Fugu-MT 論文翻訳(概要): Generation Constraint Scaling Can Mitigate Hallucination

論文の概要: Generation Constraint Scaling Can Mitigate Hallucination

arxiv url: http://arxiv.org/abs/2407.16908v1
Date: Tue, 23 Jul 2024 23:58:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-25 15:12:43.217513
Title: Generation Constraint Scaling Can Mitigate Hallucination
Title（参考訳）: 世代制約スケーリングは幻覚を緩和できる
Authors: Georgios Kollias, Payel Das, Subhajit Chaudhury,
Abstract要約: 大型言語モデル(LLM)における幻覚は重要な課題である。メモリ拡張LDMデコーダにおける生成を制約する読み出しベクトルを単純にスケーリングすることで、幻覚の緩和をトレーニング不要な方法で実現できることを実証的に示す。本手法は、ウィキペディア風のバイオグラフィーエントリを生成するタスクにおいて、最先端のLLM編集方法よりも優れた幾何学的インスピレーションを与える。
参考スコア（独自算出の注目度）: 29.25122358598193
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Addressing the issue of hallucinations in large language models (LLMs) is a critical challenge. As the cognitive mechanisms of hallucination have been related to memory, here we explore hallucination for LLM that is enabled with explicit memory mechanisms. We empirically demonstrate that by simply scaling the readout vector that constrains generation in a memory-augmented LLM decoder, hallucination mitigation can be achieved in a training-free manner. Our method is geometry-inspired and outperforms a state-of-the-art LLM editing method on the task of generation of Wikipedia-like biography entries both in terms of generation quality and runtime complexity.
Abstract（参考訳）: 大型言語モデル(LLM)における幻覚の問題に対処することは重要な課題である。幻覚の認知機構は記憶と関係しているため, 明示的な記憶機構が有効である LLM の幻覚について検討する。メモリ拡張LDMデコーダにおける生成を制約する読み出しベクトルを単純にスケーリングすることで、幻覚の緩和をトレーニング不要な方法で実現できることを実証的に示す。本手法は,ウィキペディア風のバイオグラフィーエントリの生成作業において,生成品質と実行時複雑性の両面で,最先端のLCM編集手法より優れる。

関連論文リスト

Banishing LLM Hallucinations Requires Rethinking Generalization [2.0155206466638016]
大きな言語モデル(LLM)は、強力なチャット、コーディング、推論能力にもかかわらず、しばしば幻覚する。大規模メモリエキスパート(MoME)を付加したLCMは、乱数の大きなデータセットを容易に記憶できることを示す。われわれの研究結果は、幻覚を除去する第1世代モデル、Lamini-1を設計し、事実を数百万のメモリ専門家の膨大な混在に保存する。
論文参考訳（メタデータ） (2024-06-25T15:31:01Z)
Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文参考訳（メタデータ） (2024-06-20T16:56:11Z)
MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文参考訳（メタデータ） (2024-04-17T18:13:16Z)
Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。 LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
論文参考訳（メタデータ） (2024-04-02T02:30:27Z)
Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
論文参考訳（メタデータ） (2024-04-01T07:31:45Z)
The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
論文参考訳（メタデータ） (2024-01-06T12:40:45Z)
Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-25T12:32:49Z)
Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models [0.0]
本稿では,幻覚に対するLarge Language Models (LLM) の振る舞いを深く掘り下げる。異なる種類の幻覚を識別するためのトークンレベルのアプローチを定義し、さらにトークンレベルのタグ付けを活用してLLMの解釈可能性と忠実性を改善する。
論文参考訳（メタデータ） (2023-12-22T00:31:46Z)
HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文参考訳（メタデータ） (2023-11-22T04:52:58Z)
AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。