論文の概要: Chaos with Keywords: Exposing Large Language Models Sycophantic Hallucination to Misleading Keywords and Evaluating Defense Strategies

• arxiv url: http://arxiv.org/abs/2406.03827v2
• Date: Sun, 25 Aug 2024 01:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 23:17:21.652812
• Title: Chaos with Keywords: Exposing Large Language Models Sycophantic Hallucination to Misleading Keywords and Evaluating Defense Strategies
• Title（参考訳）: キーワードを用いたカオス: キーワードの誤解に対する幻覚的幻覚と防衛戦略の評価
• Authors: Aswin RRV, Nemika Tyagi, Md Nayem Uddin, Neeraj Varshney, Chitta Baral,
• Abstract要約: 本研究では,Large Language Models (LLMs) の梅毒傾向について検討する。 LLMは、たとえ完全に正しくなくても、ユーザが聞きたいものと一致した回答を提供する傾向があります。
• 参考スコア（独自算出の注目度）: 47.92996085976817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study explores the sycophantic tendencies of Large Language Models (LLMs), where these models tend to provide answers that match what users want to hear, even if they are not entirely correct. The motivation behind this exploration stems from the common behavior observed in individuals searching the internet for facts with partial or misleading knowledge. Similar to using web search engines, users may recall fragments of misleading keywords and submit them to an LLM, hoping for a comprehensive response. Our empirical analysis of several LLMs shows the potential danger of these models amplifying misinformation when presented with misleading keywords. Additionally, we thoroughly assess four existing hallucination mitigation strategies to reduce LLMs sycophantic behavior. Our experiments demonstrate the effectiveness of these strategies for generating factually correct statements. Furthermore, our analyses delve into knowledge-probing experiments on factual keywords and different categories of sycophancy mitigation.
• Abstract（参考訳）: 本研究は,Large Language Models (LLMs) の幻想的傾向を考察し,そのモデルが,たとえ完全に正しくなくても,ユーザが聞きたいものと一致した回答を提供する傾向にあることを示した。 この探索の背後にあるモチベーションは、部分的にまたは誤解を招く知識を持つ事実をインターネットで探している個人によって観察される共通の行動に起因している。 ウェブ検索エンジンを使うのと同じように、ユーザは誤解を招くキーワードの断片を思い出してLLMに送信し、包括的なレスポンスを期待することができる。 複数のLPMを実験的に分析した結果,誤報キーワードが提示された場合,誤報を増幅する危険性が示唆された。 さらに, LLMs sycophantic behavior を減少させるために, 既存の4つの幻覚緩和策を徹底的に評価した。 本実験は, 事実的正しい文を生成するための戦略の有効性を実証する。 さらに,本分析では,事実キーワードの知識提供実験や,症状軽減のカテゴリについても検討した。

関連論文リスト

• A Debate-Driven Experiment on LLM Hallucinations and Accuracy [7.821303946741665]
  本研究では,大規模言語モデル(LLM)における幻覚現象について検討する。 GPT-4o-Miniモデルの複数のインスタンスは、TrathfulQAデータセットからの質問によって引き起こされた議論のような相互作用に関与している。 1つのモデルは、もっともらしいが偽の答えを生成するように故意に指示され、他のモデルは真に応答するように要求される。
  論文  参考訳（メタデータ） (2024-10-25T11:41:27Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem [58.3723958800254]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて非常に効果的である。 それらは幻覚と呼ばれる曖昧な文脈で信頼できない予想を生じさせる可能性がある。 本稿では,不問答語問題(MWP)に基づく質問回答(QA)におけるLLM幻覚評価手法を提案する。
  論文  参考訳（メタデータ） (2024-03-06T09:06:34Z)
• Hallucinations or Attention Misdirection? The Path to Strategic Value Extraction in Business Using Large Language Models [0.0]
  本稿では,真の幻覚というよりも,注意方向のミス指向を定義した。 本稿では,PGI,ペルソナ,グループ,インテリジェンスといった手法のベストプラクティスを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T18:40:24Z)
• Redefining "Hallucination" in LLMs: Towards a psychology-informed framework for mitigating misinformation [0.7826806223782052]
  認知バイアスやその他の心理的現象に基づく心理的分類法を提案する。 人間が同様の課題を内部的に解決する方法の洞察を活用することで、幻覚を緩和するための戦略を開発することを目指している。
  論文  参考訳（メタデータ） (2024-02-01T03:01:11Z)
• A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models [7.705767540805267]
  大きな言語モデル(LLM)は、人間のようなテキストを書く能力の進歩を続けている。 重要な課題は、事実に見えるが根拠のないコンテンツを生み出すことを幻覚させる傾向にある。 本稿では,LLMにおける幻覚を緩和するために開発された32以上の技術について調査する。
  論文  参考訳（メタデータ） (2024-01-02T17:56:30Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。