論文の概要: Stochastic Chameleons: Irrelevant Context Hallucinations Reveal Class-Based (Mis)Generalization in LLMs

• arxiv url: http://arxiv.org/abs/2505.22630v1
• Date: Wed, 28 May 2025 17:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.773069
• Title: Stochastic Chameleons: Irrelevant Context Hallucinations Reveal Class-Based (Mis)Generalization in LLMs
• Title（参考訳）: 確率的シャメレオン:LLMにおける無関係文脈幻覚のクラスベース(ミス)一般化
• Authors: Ziling Cheng, Meng Cao, Marc-Antoine Rondeau, Jackie Chi Kit Cheung,
• Abstract要約: クラスベース(ミス)一般化と呼ぶ構造的だが欠陥のあるメカニズムからエラーが生じることを示す。 Llama-3、Mistral、Pythiaの実験では、この挙動がモデルの内部計算に反映されていることが明らかになった。
• 参考スコア（独自算出の注目度）: 36.89422086121058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread success of large language models (LLMs) on NLP benchmarks has been accompanied by concerns that LLMs function primarily as stochastic parrots that reproduce texts similar to what they saw during pre-training, often erroneously. But what is the nature of their errors, and do these errors exhibit any regularities? In this work, we examine irrelevant context hallucinations, in which models integrate misleading contextual cues into their predictions. Through behavioral analysis, we show that these errors result from a structured yet flawed mechanism that we term class-based (mis)generalization, in which models combine abstract class cues with features extracted from the query or context to derive answers. Furthermore, mechanistic interpretability experiments on Llama-3, Mistral, and Pythia across 39 factual recall relation types reveal that this behavior is reflected in the model's internal computations: (i) abstract class representations are constructed in lower layers before being refined into specific answers in higher layers, (ii) feature selection is governed by two competing circuits -- one prioritizing direct query-based reasoning, the other incorporating contextual cues -- whose relative influences determine the final output. Our findings provide a more nuanced perspective on the stochastic parrot argument: through form-based training, LLMs can exhibit generalization leveraging abstractions, albeit in unreliable ways based on contextual cues -- what we term stochastic chameleons.
• Abstract（参考訳）: NLPベンチマークにおける大きな言語モデル(LLM)の成功は、LLMが主に、事前学習中に見たようなテキストを再現する確率的なオウムとして機能する、という懸念が伴っている。 しかし、エラーの性質はどのようなもので、これらのエラーは正規性を示すのでしょうか? 本研究では,無関係な文脈幻覚を考察し,その予測に誤解を招く文脈的手がかりを組み込む。 行動分析により、これらのエラーは、クラスベース(ミス)一般化と呼ばれる構造的だが欠陥のあるメカニズムから生じ、モデルが抽象クラスキューとクエリやコンテキストから抽出した特徴を組み合わせて答えを導出することを示している。 さらに、39の事実的リコール関係型に対するLlama-3、Mistral、Pythiaの機械論的解釈可能性実験により、この挙動がモデルの内部計算に反映されていることが明らかになった。 (i)抽象クラス表現は、上位層で特定の答えに洗練される前に下位層で構築される。 (ii)特徴選択は、2つの競合する回路 – 1つは直接クエリベースの推論を優先順位付けし、もう1つは文脈的手がかりを組み込む – によって制御され、その相対的な影響が最終的な出力を決定する。 ホルムベースのトレーニングによって、LLMは、文脈的手がかりに基づく信頼できない方法で抽象化を活用する一般化を示すことができます -- 確率的カメレオンと呼ばれるものです。

関連論文リスト

• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• A hierarchical Bayesian model for syntactic priming [5.765747251519448]
  シナティックプライミングの効果は、よく文書化された3つの経験的性質を示す。 本稿では,これら3つの現象を一般学習の枠組みで再現する方法について述べる。 また,構文プライミングの語彙的基礎に対するモデルの影響についても論じる。
  論文  参考訳（メタデータ） (2024-05-24T22:26:53Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure [2.530495315660486]
  本研究では,事前学習したトランスフォーマーに基づく大規模言語モデルがコンテキスト間の関係を表現する程度について検討する。 LLMは、関連する文脈間の新しい名詞引数の分布を一般化する上で、よく機能することがわかった。 しかし、LCMは事前学習中に観測されていない関連するコンテキスト間の一般化に失敗する。
  論文  参考訳（メタデータ） (2023-11-08T18:58:43Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。