論文の概要: LargePiG: Your Large Language Model is Secretly a Pointer Generator
- arxiv url: http://arxiv.org/abs/2410.11366v1
- Date: Tue, 15 Oct 2024 07:41:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:02:45.199662
- Title: LargePiG: Your Large Language Model is Secretly a Pointer Generator
- Title（参考訳）: LargePiG: 大きな言語モデルは極秘のポインタージェネレータ
- Authors: Zhongxiang Sun, Zihua Si, Xiaoxue Zang, Kai Zheng, Yang Song, Xiao Zhang, Jun Xu,
- Abstract要約: 本稿では,Large Language Models (LLMs) に基づく問合せ生成による幻覚問題の新しいタイプとして,関連性幻覚と事実性幻覚を導入する。
LLM生成クエリの形式からコンテンツを切り離す効果的な方法を提案し、入力から抽出・統合された事実知識を保存し、LLMの強力な言語機能を用いて関数語を含む構文構造をコンパイルする。
- 参考スコア（独自算出の注目度）: 15.248956952849259
- License:
- Abstract: Recent research on query generation has focused on using Large Language Models (LLMs), which despite bringing state-of-the-art performance, also introduce issues with hallucinations in the generated queries. In this work, we introduce relevance hallucination and factuality hallucination as a new typology for hallucination problems brought by query generation based on LLMs. We propose an effective way to separate content from form in LLM-generated queries, which preserves the factual knowledge extracted and integrated from the inputs and compiles the syntactic structure, including function words, using the powerful linguistic capabilities of the LLM. Specifically, we introduce a model-agnostic and training-free method that turns the Large Language Model into a Pointer-Generator (LargePiG), where the pointer attention distribution leverages the LLM's inherent attention weights, and the copy probability is derived from the difference between the vocabulary distribution of the model's high layers and the last layer. To validate the effectiveness of LargePiG, we constructed two datasets for assessing the hallucination problems in query generation, covering both document and video scenarios. Empirical studies on various LLMs demonstrated the superiority of LargePiG on both datasets. Additional experiments also verified that LargePiG could reduce hallucination in large vision language models and improve the accuracy of document-based question-answering and factuality evaluation tasks.
- Abstract（参考訳）: クエリ生成に関する最近の研究は、最先端のパフォーマンスをもたらすにもかかわらず、生成されたクエリの幻覚に関する問題も導入する、Large Language Models (LLMs)の使用に焦点を当てている。
本研究では,LLMに基づくクエリ生成による幻覚の新たなタイプとして,関連性幻覚と事実性幻覚を紹介する。
LLM生成クエリの形式からコンテンツを切り離す効果的な方法を提案し、入力から抽出・統合された事実知識を保存し、LLMの強力な言語機能を用いて関数語を含む構文構造をコンパイルする。
具体的には,LargePiGをポインタ・ジェネレータ(LargePiG)に変換するモデル非依存かつ学習不要な手法を導入し,ポインタ注意分布はLLM固有の注意重みを生かし,コピー確率はモデルの高層と最終層の語彙分布の違いから導かれる。
本研究では,LargePiGの有効性を検証するために,クエリ生成における幻覚問題を評価するための2つのデータセットを構築した。
各種LLMの実験的研究により,LargePiGの両データセットにおける優位性が示された。
さらに、LargePiGは、大きな視覚言語モデルにおける幻覚を減らし、文書ベースの質問応答および事実性評価タスクの精度を向上させることを実証した。
関連論文リスト
- Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL)
本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
論文 参考訳（メタデータ） (2024-10-16T00:15:40Z) - LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。
LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
論文 参考訳（メタデータ） (2024-10-13T18:59:58Z) - Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。
データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。
コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
論文 参考訳（メタデータ） (2024-10-01T04:20:14Z) - Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。
それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。
本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
論文 参考訳（メタデータ） (2024-07-04T18:47:42Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳（メタデータ） (2024-02-22T00:41:23Z) - Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。
この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
論文 参考訳（メタデータ） (2023-11-15T15:12:15Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z) - Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented
Large Language Models [6.425088990363101]
本研究では, 大規模言語モデルにおけるフラレンシと帰属の関係について検討した。
より大きなモデルは、流布と帰属の両方において、より優れた結果をもたらす傾向があることを示す。
そこで本研究では,より小さなモデルで大きなモデルとのギャップを埋めることと,トップk検索のメリットを両立できるレシピを提案する。
論文 参考訳（メタデータ） (2023-02-11T02:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。