論文の概要: The Curious Case of Hallucinatory (Un)answerability: Finding Truths in the Hidden States of Over-Confident Large Language Models

• arxiv url: http://arxiv.org/abs/2310.11877v2
• Date: Sun, 12 Nov 2023 13:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 19:59:54.669813
• Title: The Curious Case of Hallucinatory (Un)answerability: Finding Truths in the Hidden States of Over-Confident Large Language Models
• Title（参考訳）: 幻覚性(未解答性)の疑わしい事例:過信大言語モデルにおける隠れ状態の真理を見いだす
• Authors: Aviv Slobodkin, Omer Goldman, Avi Caciularu, Ido Dagan, Shauli Ravfogel
• Abstract要約: 本研究では,大言語モデル (LLM) の問合せ時の動作について検討する。 この結果から,入力クエリの応答性を符号化したモデルが強く示唆され,最初の復号化トークンの表現が強い指標であることが示唆された。
• 参考スコア（独自算出の注目度）: 46.990141872509476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have been shown to possess impressive capabilities, while also raising crucial concerns about the faithfulness of their responses. A primary issue arising in this context is the management of (un)answerable queries by LLMs, which often results in hallucinatory behavior due to overconfidence. In this paper, we explore the behavior of LLMs when presented with (un)answerable queries. We ask: do models represent the fact that the question is (un)answerable when generating a hallucinatory answer? Our results show strong indications that such models encode the answerability of an input query, with the representation of the first decoded token often being a strong indicator. These findings shed new light on the spatial organization within the latent representations of LLMs, unveiling previously unexplored facets of these models. Moreover, they pave the way for the development of improved decoding techniques with better adherence to factual generation, particularly in scenarios where query (un)answerability is a concern.
• Abstract（参考訳）: 大規模言語モデル(LLM)は印象的な能力を持つ一方で、応答の忠実さに関して重要な懸念を提起している。 この文脈で生じる主要な問題は、LLMによる(未解決の)問合せの管理であり、しばしば過信による幻覚的行動を引き起こす。 本稿では,(不可解な)クエリを提示した場合のllmの挙動について検討する。 私たちは、モデルが幻覚的な答えを生成するとき、質問が(理解できない)という事実を表していますか? この結果から,入力クエリの応答性を符号化したモデルが強く示唆され,最初の復号化トークンの表現が強い指標であることが示唆された。 これらの発見は、llmの潜在表現内の空間的構造に新しい光を当て、これらのモデルの未調査の面を披露した。 さらに、特にクエリ(未解答性)が懸念されるシナリオにおいて、事実生成に忠実な改良されたデコード技術を開発するための道を開いた。

関連論文リスト

• Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
  大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。 幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。 本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2024-11-21T16:09:05Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Information Anxiety in Large Language Models [21.574677910096735]
  大規模言語モデル(LLM)は知識リポジトリとして高いパフォーマンスを示している。 本研究は, LLMの内部推論と検索機構を包括的に分析することにより, さらなる調査を行う。 我々の研究は、エンティティの人気の影響、クエリの定式化における語彙変化に対するモデルの感度、隠された状態表現の進行という3つの重要な側面に焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-16T14:28:33Z)
• How Susceptible are LLMs to Influence in Prompts? [6.644673474240519]
  大規模言語モデル(LLM)は、追加のコンテキストを含むプロンプトに非常に敏感である。 我々は,複数の質問に対するLLMの応答が,他のモデルからの予測と説明を含む場合,どのように変化するかを検討する。 本研究は, モデルが強い影響を受けており, 説明が提供されると, 説明の質に関わらず, ゆがみが生じることを示した。
  論文  参考訳（メタデータ） (2024-08-17T17:40:52Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。