論文の概要: Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
- arxiv url: http://arxiv.org/abs/2607.07670v1
- Date: Wed, 08 Jul 2026 17:24:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.475048
- Title: Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
- Title（参考訳）: Bielikは、それが知らないことを知っているか? アクティベーション分散は、モデルスケール全体にわたって、ファクチュアル・信頼性からエンティティ・ファミリティを分離する
- Abstract要約: 一つの応答トークンが生成される前にモデルのアクティベーションがエンティティの親しみを裏切るのか、その信号が回答の事実的信頼性を予測するのかを問う。
ポーランド・ビエリクの4つのモデル(1.5BBパラメータ)では、4つのエンティティドメイン(選手、都市、作家、ミュージシャン)を探索する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models hallucinate most about entities they have never seen. We ask whether a model's activations betray entity familiarity before a single answer token is generated, and whether that signal predicts the factual reliability of the answers. On four Polish Bielik models (1.5B-11B parameters), we probe four entity domains (athletes, cities, writers, musicians), each with 42 well-known, 42 obscure-but-real, and 42 fabricated entities addressed by a one-sentence question (504 prompts per model). Two unsupervised, single-forward-pass dispersion measures over post-SwiGLU MLP activations, inverse participation ratio and spectral entropy, separate known from fabricated entities at AUROC 0.95-1.00 across all domains and scales; a supervised linear probe reaches 0.99-1.00. Both clear selection-aware permutation floors of about 0.70-0.74 (empirical p<=1e-3), survive held-out layer selection (0.93-0.99), and persist on real names (known vs. obscure-but-real: 0.96-1.00). The signal transfers across entity types (mean off-diagonal AUROC 0.92-0.99); a matched-template counterfactual shows the only large drops are template-caused, not entity-type effects, and the signal is diffuse across heads. This representational signal is already at ceiling at 1.5B, whereas behavioral factual reliability scales sharply: 0, 2, 10, and 19 of 42 known athletes are answered fully correctly by the 1.5B, 4.5B, 7B, and 11B models under a strict judge. Within known entities, separating correct from hallucinated answers is much harder (probe 0.93; dispersion no better than a first-token-entropy baseline). A five-sample semantic-entropy baseline reaches only 0.71-0.83 at 5x the inference cost. Despite this internal awareness, the models almost never abstain: an audit of 2,520 answers finds 2 refusals and 1 hedge. Entity familiarity and factual reliability are distinct phenomena on different scaling curves.
- Abstract（参考訳）: 大きな言語モデルは、これまで見たことのないエンティティに最も幻覚を与えます。
モデルのアクティベーションが単一の応答トークンを生成する前にエンティティの親しみを裏切るのか,そのシグナルが回答の事実的信頼性を予測するのかを問う。
ポーランド・ビエリクの4つのモデル(1.5B-11Bパラメータ)では、4つのエンティティドメイン(選手、都市、作家、ミュージシャン)を探索する。
SwiGLU後のMLP活性化、逆参加比、スペクトルエントロピーに関する2つの非教師なしシングルフォワードの分散対策は、すべての領域とスケールにわたるAUROC 0.95-1.00で製造されたエンティティとは分離されており、教師付き線形プローブは0.99-1.00に達する。
いずれも0.70-0.74(経験的p<=1e-3)で、保持層選択(0.93-0.99)を継続し、実名に持続する(知られている対不明瞭な実数: 0.96-1.00)。
信号はエンティティタイプ間で転送される(平均対角方向のAUROC 0.92-0.99)。
この表現信号は1.5Bで既に天井に置かれているのに対し、42人の選手のうち0, 2, 10, 19人は厳格な判断の下で1.5B, 4.5B, 7B, 11Bのモデルで完全に正しく答えられる。
既知の実体の中では、正解と正解の分離はより困難である(確率0.93、分散は第一トーケンエントロピー基底線よりは良くない)。
5サンプルのセマンティックエントロピーベースラインは、推論コストの5倍の0.71-0.83に達する。
2,520件の回答の監査では、2件の拒絶と1件のヘッジファンドが見つかった。
エンティティの親しみやすさと事実的信頼性は、異なるスケーリング曲線上で異なる現象である。
関連論文リスト
- Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model [0.0]
我々は、大きな言語モデルの中で、人口集団のアイデンティティがどこにあるのかを尋ねる。
私たちはMistral-7Bで1,089の読み出し位置を記録し、6つのタイプに因果的に介入した。
単一の頭部の128次元のプローブは、モデル自身の答えよりも21-31%近くまで到達した。
論文 参考訳（メタデータ） (2026-08-19T10:25:11Z) - Per-Entity Bias Mapping for AI Visibility: Why Brand Mentions Require Entity-Specific Calibration [0.0]
本稿では、AIの可視性エラープロファイルが体系的に異なるため、集約メトリクスは不十分である、と論じる。
3つの障害モードが識別される: 表現不足のエンティティは知識グラフの存在が弱いために見えなくなる; 大エンティティはブランド幻覚のパラドックスに苦しむ。
論文 参考訳（メタデータ） (2026-06-19T16:50:29Z) - Attributing Emergence in Million-Agent Systems [68.53670424791751]
大規模言語モデル(LLM)は、個々のエージェントにおける人間のような推論と意思決定をシミュレートすることができる。
このような研究は、個々のエージェントにマクロな出現をもたらす必要がある。
Aumann--Shapley path-integral attribution to LLM-powered MAS at million-agent scale。
論文 参考訳（メタデータ） (2026-05-12T01:49:41Z) - The Metacognitive Probe: Five Behavioural Calibration Diagnostics for LLMs [0.0]
メタ認知プローブ(Metacognitive Probe)は、探索的な5タスク、15スロットの診断である。
LLMの信頼性動作を5つの行動特異的な次元に分解する。
N=69人に対して評価される。
論文 参考訳（メタデータ） (2026-05-11T00:55:31Z) - Hidden Error Awareness in Chain-of-Thought Reasoning: The Signal Is Diagnostic, Not Causal [6.908637308550535]
思考の連鎖は、生成された推論がモデルの内部計算を反映していると仮定する。
この仮定は、特定の測定可能な方法で間違っていることを示す。
モデルは自身の推論エラーを内部的に検出するが、その信頼性を外部に表現する。
論文 参考訳（メタデータ） (2026-05-10T12:26:46Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Tracing Uncertainty in Language Model "Reasoning" [46.61902399979181]
言語モデル(LM)は、一般的にChain-of-Thoughtまたはテストタイムスケーリングと呼ばれ、しばしばベンチマークのパフォーマンスを改善する。
本研究では,LMが生成する中間トークン列である「推論」トレースを進化的モデル状態として扱うことにより,これらのダイナミクスを考察する。
論文 参考訳（メタデータ） (2026-05-08T14:16:37Z) - When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。
言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
論文 参考訳（メタデータ） (2026-04-23T03:48:56Z) - Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs [0.0]
大型言語モデルの既知特性を同定する。
完全な証拠が取り除かれる前に、自信と怒りの度合いを増す。
パラメトリック幻覚信頼(Parametric Hallucination Confidence,PHC)としてコミットし、6行のエビデンスで確立する。
論文 参考訳（メタデータ） (2026-04-02T02:13:45Z) - Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models [6.5607014897534865]
7個の自己回帰変換器の幻覚表現の時間的ダイナミクスについて検討した。
4M以下のモデルでは、生成位置毎に確率レベルプローブの精度を示す。
7Bスケールでは、Pythia-6.9Bは平坦な時間プロファイルを、Qwen2.5-7Bは支配的な前世代効果を示す。
論文 参考訳（メタデータ） (2026-03-20T02:30:01Z) - Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。
適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。
モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
論文 参考訳（メタデータ） (2026-02-26T09:21:12Z) - HAD: HAllucination Detection Language Models Based on a Comprehensive Hallucination Taxonomy [48.68088917291552]
NLGタスクにまたがる11のカテゴリからなる総合的な幻覚分類を導入する。
本稿では,幻覚検出,スパンレベル同定,修正を単一の推論プロセスに統合するHAllucination Detection (HAD)モデルを提案する。
論文 参考訳（メタデータ） (2025-10-22T07:28:37Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。