論文の概要: The Curious Case of Hallucinatory Unanswerablity: Finding Truths in the
Hidden States of Over-Confident Large Language Models
- arxiv url: http://arxiv.org/abs/2310.11877v1
- Date: Wed, 18 Oct 2023 11:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 16:57:59.602292
- Title: The Curious Case of Hallucinatory Unanswerablity: Finding Truths in the
Hidden States of Over-Confident Large Language Models
- Title(参考訳): 幻覚的不理解の奇妙なケース--自信過剰大言語モデルの隠れた状態における真理の探索
- Authors: Aviv Slobodkin, Omer Goldman, Avi Caciularu, Ido Dagan, Shauli
Ravfogel
- Abstract要約: 本研究では,大規模言語モデル (LLM) の問合せ不能なクエリを提示する場合の挙動について検討する。
この結果から,入力クエリの応答性を符号化したモデルが強く示唆され,最初の復号化トークンの表現が強い指標であることが示唆された。
- 参考スコア(独自算出の注目度): 46.990141872509476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have been shown to possess impressive
capabilities, while also raising crucial concerns about the faithfulness of
their responses. A primary issue arising in this context is the management of
unanswerable queries by LLMs, which often results in hallucinatory behavior,
due to overconfidence. In this paper, we explore the behavior of LLMs when
presented with unanswerable queries. We ask: do models \textbf{represent} the
fact that the question is unanswerable when generating a hallucinatory answer?
Our results show strong indications that such models encode the answerability
of an input query, with the representation of the first decoded token often
being a strong indicator. These findings shed new light on the spatial
organization within the latent representations of LLMs, unveiling previously
unexplored facets of these models. Moreover, they pave the way for the
development of improved decoding techniques with better adherence to factual
generation, particularly in scenarios where query unanswerability is a concern.
- Abstract(参考訳): 大規模言語モデル(LLM)は印象的な能力を持つ一方で、応答の忠実さに関して重要な懸念を提起している。
この文脈で生じる主要な問題は、LLMによる解決不可能なクエリの管理であり、しばしば過剰な自信のために幻覚的行動を引き起こす。
本稿では,LLMの問合せ不能なクエリを提示する場合の挙動について検討する。
モデル \textbf{represent} 幻覚的な答えを生成するとき、質問は答えられないという事実ですか?
この結果から,入力クエリの応答性を符号化したモデルが強く示唆され,最初の復号化トークンの表現が強い指標であることが示唆された。
これらの発見は、llmの潜在表現内の空間的構造に新しい光を当て、これらのモデルの未調査の面を披露した。
さらに、特にクエリのアンアンポーラビリティが懸念されるシナリオにおいて、事実生成への順応性を高めることにより、デコード技術の改善への道を開く。
関連論文リスト
- Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。
広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。
本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
論文 参考訳(メタデータ) (2024-04-25T10:03:14Z) - Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs [7.100094213474042]
大規模言語モデル (LLM) は、テキストの理解と人間に似たテキストの生成において、顕著な熟練性を示している。
LLMは、代表性と呼ばれる人間の意思決定において共通の認知的罠の影響を受ける可能性がある。
論文 参考訳(メタデータ) (2024-04-01T20:15:06Z) - Unfamiliar Finetuning Examples Control How Language Models Hallucinate [80.497886066705]
大規模言語モデル(LLM)は、可聴性に富むが、実際には正しくない応答を生成する傾向にある。
我々は,長期化タスクに対する幻覚をより確実に緩和するRLアプローチを開発した。
論文 参考訳(メタデータ) (2024-03-08T18:28:13Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳(メタデータ) (2023-11-16T09:50:53Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳(メタデータ) (2023-10-10T03:05:44Z) - Probing the Multi-turn Planning Capabilities of LLMs via 20 Question
Games [14.063311955315077]
大規模言語モデル(LLM)は、明らかに求められている質問に答えるのに効果的である。
不明瞭なクエリに直面した場合、予測不能に動作し、誤った出力を生成することができる。
このことは、曖昧さを効果的に解決するために明確化を問うことができる知的エージェントの開発の必要性を浮き彫りにする。
論文 参考訳(メタデータ) (2023-10-02T16:55:37Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Siren's Song in the AI Ocean: A Survey on Hallucination in Large
Language Models [116.01843550398183]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。
LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
論文 参考訳(メタデータ) (2023-09-03T16:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。