論文の概要: "Sorry, Come Again?" Prompting -- Enhancing Comprehension and Diminishing Hallucination with [PAUSE]-injected Optimal Paraphrasing

• arxiv url: http://arxiv.org/abs/2403.18976v1
• Date: Wed, 27 Mar 2024 19:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 18:01:51.007241
• Title: "Sorry, Come Again?" Prompting -- Enhancing Comprehension and Diminishing Hallucination with [PAUSE]-injected Optimal Paraphrasing
• Title（参考訳）: 「ごめん、また来ますか?」プロンプティング -- [PAUSE]を注入した最適な言い回しによる理解と幻覚の緩和
• Authors: Vipula Rawte, S. M Towhidul Islam Tonmoy, S M Mehedi Zaman, Prachi Priya, Aman Chadha, Amit P. Sheth, Amitava Das,
• Abstract要約: 幻覚は現代大言語モデル(LLM)の最も脆弱な側面として現れてきた。 本稿では,LCMの幻覚を避けることを目的としたSCAプロンプトについて紹介する。 本稿では,21のLLMに対するプロンプトの形式性,可読性,具体性について,言語的ニュアンスを詳細に分析する。 与えられたプロンプトの最も理解しやすいパラフレーズを識別する最適なパラフレーズ化手法を提案する。
• 参考スコア（独自算出の注目度）: 10.20632187568563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination has emerged as the most vulnerable aspect of contemporary Large Language Models (LLMs). In this paper, we introduce the Sorry, Come Again (SCA) prompting, aimed to avoid LLM hallucinations by enhancing comprehension through: (i) optimal paraphrasing and (ii) injecting [PAUSE] tokens to delay LLM generation. First, we provide an in-depth analysis of linguistic nuances: formality, readability, and concreteness of prompts for 21 LLMs, and elucidate how these nuances contribute to hallucinated generation. Prompts with lower readability, formality, or concreteness pose comprehension challenges for LLMs, similar to those faced by humans. In such scenarios, an LLM tends to speculate and generate content based on its imagination (associative memory) to fill these information gaps. Although these speculations may occasionally align with factual information, their accuracy is not assured, often resulting in hallucination. Recent studies reveal that an LLM often neglects the middle sections of extended prompts, a phenomenon termed as lost in the middle. While a specific paraphrase may suit one LLM, the same paraphrased version may elicit a different response from another LLM. Therefore, we propose an optimal paraphrasing technique to identify the most comprehensible paraphrase of a given prompt, evaluated using Integrated Gradient (and its variations) to guarantee that the LLM accurately processes all words. While reading lengthy sentences, humans often pause at various points to better comprehend the meaning read thus far. We have fine-tuned an LLM with injected [PAUSE] tokens, allowing the LLM to pause while reading lengthier prompts. This has brought several key contributions: (i) determining the optimal position to inject [PAUSE], (ii) determining the number of [PAUSE] tokens to be inserted, and (iii) introducing reverse proxy tuning to fine-tune the LLM for [PAUSE] insertion.
• Abstract（参考訳）: 幻覚は現代のLarge Language Models(LLM)の最も脆弱な側面として現れている。 本稿では,LLM幻覚の回避を目的としたSorry, Come Again(SCA)プロンプトについて述べる。 訳語 最適な言い回し;最適な言い回し (ii) LLM生成を遅らせるために[PAUSE]トークンを注入する。 まず,21LLMにおけるプロンプトの形式性,可読性,具体性といった言語的ニュアンスを詳細に分析し,これらのニュアンスがどのように幻覚発生に寄与するかを明らかにする。 可読性、形式性、具体性が低いプロンプトは、人間の直面しているものと同様、LLMに対して理解上の困難をもたらす。 このようなシナリオでは、LCMはその想像力(連想記憶)に基づいてコンテンツを推測して生成し、これらの情報ギャップを埋める傾向がある。 これらの推測は時折事実情報と一致しているが、その正確さは保証されておらず、幻覚をもたらすことが多い。 近年の研究では、LSMは拡張プロンプトの中間部分を無視していることが判明している。 特定のパラフレーズは1つの LLM に適合するが、同じパラフレーズ化されたバージョンは別の LLM とは異なる反応を誘発することがある。 そこで本研究では,LLMが全ての単語を正確に処理することを保証するために,インテグレート・グラディエント(およびそのバリエーション)を用いて評価した,与えられたプロンプトの最も理解しやすいパラフレーズを識別する最適なパラフレーズ化手法を提案する。 長い文章を読みながら、人間は、これまで読み上げてきた意味をよりよく理解するために、様々な点で停止することが多い。 我々は、[PAUSE]トークンを注入したLLMを微調整し、より長いプロンプトを読みながらLLMを停止できるようにした。 これにより、いくつかの重要なコントリビューションが生まれました。 i) [PAUSE]を注入する最適な位置を決定すること。 (ii)挿入すべき[PAUSE]トークンの数を決定し、 3) [PAUSE]挿入のためのLDMを微調整するためにリバースプロキシチューニングを導入する。

関連論文リスト

• DecoPrompt : Decoding Prompts Reduces Hallucinations when Large Language Models Meet False Premises [28.72485319617863]
  幻覚を緩和する新しいプロンプトアルゴリズムDecoPromptを提案する。 DecoPrompt は LLM を利用して偽前提のプロンプトを "デコード" する。 2つのデータセットで実験を行い、DecoPromptは異なるLLMから出力された幻覚を効果的に低減できることを示した。
  論文  参考訳（メタデータ） (2024-11-12T00:48:01Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• Semantically Diverse Language Generation for Uncertainty Estimation in Language Models [5.8034373350518775]
  大規模言語モデル(LLM)は、テキストを生成する際に幻覚に悩まされることがある。 現在のLLMは、テキストトークンを予測および付加することにより、自動回帰形式でテキストを生成する。 LLMの予測不確かさを定量化するために,Semantically Diverse Language Generationを導入する。
  論文  参考訳（メタデータ） (2024-06-06T17:53:34Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Are Large Language Models Temporally Grounded? [38.481606493496514]
  文章を記述したLarge Language Model (LLM) を提供する。 イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。 これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
  論文  参考訳（メタデータ） (2023-11-14T18:57:15Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。