論文の概要: A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia
- arxiv url: http://arxiv.org/abs/2312.02073v2
- Date: Tue, 20 Feb 2024 17:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:00:59.749831
- Title: A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia
- Title(参考訳): マトリックスの不具合?
Fakepediaによる言語モデルの座位と検出
- Authors: Giovanni Monea, Maxime Peyrard, Martin Josifoski, Vishrav Chaudhary,
Jason Eisner, Emre K{\i}c{\i}man, Hamid Palangi, Barun Patra, Robert West
- Abstract要約: 大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
- 参考スコア(独自算出の注目度): 68.00056517461402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have an impressive ability to draw on novel
information supplied in their context. Yet the mechanisms underlying this
contextual grounding remain unknown, especially in situations where contextual
information contradicts factual knowledge stored in the parameters, which LLMs
also excel at recalling. Favoring the contextual information is critical for
retrieval-augmented generation methods, which enrich the context with
up-to-date information, hoping that grounding can rectify outdated or noisy
stored knowledge. We present a novel method to study grounding abilities using
Fakepedia, a dataset of counterfactual texts constructed to clash with a
model's internal parametric knowledge. We benchmark various LLMs with Fakepedia
and then we conduct a causal mediation analysis, based on our Masked Grouped
Causal Tracing (MGCT), on LLM components when answering Fakepedia queries.
Within this analysis, we identify distinct computational patterns between
grounded and ungrounded responses. We finally demonstrate that distinguishing
grounded from ungrounded responses is achievable through computational analysis
alone. Our results, together with existing findings about factual recall
mechanisms, provide a coherent narrative of how grounding and factual recall
mechanisms interact within LLMs.
- Abstract(参考訳): 大きな言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すことができる。
しかし、この文脈的基盤のメカニズムは、特に文脈的情報がパラメータに格納されている事実的知識と矛盾する状況において、まだ不明である。
検索強化された生成手法では、コンテキストを最新の情報で豊かにすることで、グラウンドディングが古い記憶された知識を正したり、うるさいものにしたりすることを期待する。
本稿では,モデルの内部パラメトリック知識と衝突するように構築された反事実テキストのデータセットである fakepedia を用いて,接地能力を研究する新しい手法を提案する。
Fakepedia で様々な LLM をベンチマークし,Fakepedia クエリに応答する際の LLM コンポーネント上で Masked Grouped Causal Tracing (MGCT) に基づく因果媒介分析を行った。
本分析では,接地応答と接地応答の異なる計算パターンを同定する。
最後に, 地下応答と接地応答の区別は, 計算解析のみで達成可能であることを示す。
本研究は,事実リコール機構に関する既往の知見とともに,llm内におけるグルーディングと事実リコール機構の相互作用に関するコヒーレントな物語を提供する。
関連論文リスト
- Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Do LLMs Dream of Ontologies? [15.049502693786698]
大規模言語モデル(LLM)は、最近、自動テキスト理解と生成に革命をもたらした。
本稿では,汎用的な事前学習 LLM が,どの程度の知識を持つかを検討する。
論文 参考訳(メタデータ) (2024-01-26T15:10:23Z) - Fighting Fire with Fire: Adversarial Prompting to Generate a
Misinformation Detection Dataset [10.860133543817659]
誤報を識別するために, LLM を用いた銀標準地下構造データセットの作成手法を提案する。
具体的には、信頼できるニュース記事を考えると、我々の提案するアプローチは、LLMが元の記事の要約されたバージョンを自動的に生成するように促すことである。
本データセットの有用性を検討するために,誤情報検出のタスクに対して,教師付きモデルの範囲をトレーニングする一連の実験を行った。
論文 参考訳(メタデータ) (2024-01-09T10:38:13Z) - How Well Do Large Language Models Truly Ground? [41.36589507268335]
LLM(Large Language Models)の固有の知識への依存は幻覚などの問題を引き起こす可能性がある。
これを軽減するために、LLMをプローブして外部コンテキストに基づいて応答を生成する。
論文 参考訳(メタデータ) (2023-11-15T16:11:27Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-05-02T17:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。