論文の概要: Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination

• arxiv url: http://arxiv.org/abs/2410.17477v3
• Date: Sun, 15 Dec 2024 22:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:19.820696
• Title: Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
• Title（参考訳）: ロボットは電気シープのように夢を味わうか? 幻覚に及ぼす建築的誘導的バイアスの影響を探る
• Authors: Jerry Huang, Prasanna Parthasarathi, Mehdi Rezagholizadeh, Boxing Chen, Sarath Chandar,
• Abstract要約: アーキテクチャに基づく帰納バイアスが幻覚の確率にどのように影響するかを考察する。 発見は、これらの問題を相互によりよく理解することの必要性を強調し、幻覚を扱うためのより普遍的なテクニックをどう設計するかを検討する。
• 参考スコア（独自算出の注目度）: 41.70182291774456
• License:
• Abstract: The growth in prominence of large language models (LLMs) in everyday life can be largely attributed to their generative abilities, yet some of this is also owed to the risks and costs associated with their use. On one front is their tendency to \textit{hallucinate} false or misleading information, limiting their reliability. On another is the increasing focus on the computational limitations associated with traditional self-attention based LLMs, which has brought about new alternatives, in particular recurrent models, meant to overcome them. Yet it remains uncommon to consider these two concerns simultaneously. Do changes in architecture exacerbate/alleviate existing concerns about hallucinations? Do they affect how and where they occur? Through an extensive evaluation, we study how these architecture-based inductive biases affect the propensity to hallucinate. While hallucination remains a general phenomenon not limited to specific architectures, the situations in which they occur and the ease with which specific types of hallucinations can be induced can significantly differ based on the model architecture. These findings highlight the need for better understanding both these problems in conjunction with each other, as well as consider how to design more universal techniques for handling hallucinations.
• Abstract（参考訳）: 日常生活における大きな言語モデル(LLM)の卓越性の増大は、その生成能力に大きく寄与するが、その一部は、その使用に伴うリスクとコストにも負う。 ひとつは、偽情報や誤解を招く情報を偽造する傾向があり、信頼性が制限されていることだ。 もうひとつは、従来の自己注意に基づくLLMにまつわる計算上の制限に焦点が当てられていることだ。 しかし、この2つの懸念を同時に考えることは珍しくない。 アーキテクチャの変更は幻覚に対する既存の懸念を悪化/悪化させるか? それらはどのように、どこで起こるかに影響するか? 本研究では,これらのアーキテクチャに基づく帰納バイアスが幻覚の適応性に与える影響について検討した。 幻覚は、特定の建築に限らず一般的な現象であるが、それらが発生する状況や、特定の種類の幻覚を誘発する容易さは、モデル建築によって大きく異なる可能性がある。 これらの知見は、これらの問題を相互によりよく理解することの必要性を強調し、幻覚を扱うためのより普遍的なテクニックをどう設計するかを考察する。

関連論文リスト

• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
  本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。 VideoHallucerは幻覚を2つの主なタイプに分類する。
  論文  参考訳（メタデータ） (2024-06-24T06:21:59Z)
• Mitigating Large Language Model Hallucination with Faithful Finetuning [46.33663932554782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 彼らは「幻覚」として知られる、流動的で不合理な反応を生み出す傾向にある
  論文  参考訳（メタデータ） (2024-06-17T07:16:07Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations [42.46721214112836]
  State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 我々は、主観的関係クエリを用いた診断データセットを作成し、内部モデル表現による幻覚の追跡に解釈可能性手法を適用した。
  論文  参考訳（メタデータ） (2024-03-27T00:23:03Z)
• On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です 本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Probing Causes of Hallucinations in Neural Machine Translations [51.418245676894465]
  本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。 幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
  論文  参考訳（メタデータ） (2022-06-25T01:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。