論文の概要: Geometry of Confabulation and Refusal in Small Language Models

• arxiv url: http://arxiv.org/abs/2611.01272v1
• Date: Sat, 31 Oct 2026 21:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.461459
• Title: Geometry of Confabulation and Refusal in Small Language Models
• Title（参考訳）: 小言語モデルにおける衝突・拒絶の幾何学
• Abstract要約: 小型の言語モデルは拒否するか、折り畳みできる。 最初の生成されたトークンの前に隠された状態が手がかりを提供することができるか? ConfabQAは、不明瞭なプレカットオフカテゴリが典型的な正確さ/知識カットオフの相違を破るベンチマークです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Faced with an unanswerable question, small language models can either refuse or confabulate: confidently produce a wrong answer. Can the hidden state before the first generated token provide a clue? Can we flip confabulations into refusals? I introduce ConfabQA, a 784-item benchmark whose obscure-pre-cutoff category breaks the typical correctness/knowledge-cutoff confound and map the geometry of the hidden state with linear probes, a sparse autoencoder (SAE), and direct optimization of intervention directions. On Qwen3-1.7B and Gemma 2 2B the probe separates upcoming refusals from confabulations well beyond prompt features (+7.4/+16.3 pp); on Llama 3.2 3B the ConfabQA margin is within fold-to-fold spread, but a direct refusal probe on PopQA and TriviaQA recovers +18-25 pp. On Qwen I closely inspect three candidate directions for the refusal vector: probe-recovered, Qwen-Scope SAE feature, and directly optimized. Although the three directions are pairwise 50-81 degrees apart, a push at or below the state's own norm along any of them flips most confabulations into refusal openings dominated by the "As..." family. Forcing the opener without touching the hidden state yields the same one-in-three judged-refusal rate as any push. The opposite push collapses refusals mostly into confabulations, yet leaves originally correct answers intact, so the direction gates the opening speech act rather than the knowledge behind it. Confabulations do not resolve into a concentrated feature in a dictionary or a token signature on Qwen3-1.7B. Scoring every probe on the margin over the strongest of four prompt-feature baselines extracts the hidden state's own contribution. Correctness signal is model-dependent and portable only for Llama 3.2 3B: 81% of the probe's margin over test majority survives transfer between ConfabQA, PopQA, and TriviaQA. Benchmark, judge, and code are released.
• Abstract（参考訳）: 疑わしい質問に直面して、小さな言語モデルは拒否するか、誤解するかのどちらかで、自信を持って間違った答えを導き出します。 最初の生成されたトークンの前に隠された状態が手がかりを提供することができるか? 批判を拒絶できるだろうか? ConfabQAは、784イテムのベンチマークで、不明瞭なカットオフカテゴリが典型的正当性/知識カットオフ共焦点を破り、隠れ状態の幾何学を線形プローブでマッピングし、スパースオートエンコーダ(SAE)、干渉方向の直接最適化を行う。 Qwen3-1.7B と Gemma 2 2B では、探針は急激な特徴(+7.4/+16.3 pp); Llama 3.2 3B では、ConfabQA のマージンは折り畳みスプレッド内にあるが、PopQA と TriviaQA の直接の拒絶プローブは +18-25 pp を回復する。 Qwenでは、プローブ回収、Qwen-Scope SAE機能、直接最適化の3つの拒否ベクトルの候補方向を精査する。 3つの方向は対等に50-81度離れているが、州内の標準線またはそれより下方へ押すと、「アス...」族が支配する開口部を拒絶する。 隠れた状態に触れることなくオープナーを強制すると、任意のプッシュと同じ3分の1の判定拒否率が得られる。 反対のプッシュの崩壊は、主に会話に拒絶されるが、元々は正しい答えをそのまま残しているため、その方向は、その背景にある知識よりも、開会演説の行動のゲートとなる。 衝突は、辞書やQwen3-1.7B上のトークンシグネチャの集中的な特徴に解決しない。 最強の4つのプロンプト機能ベースラインに対するマージン上の全てのプローブを検査すると、隠れた状態の貢献が抽出される。 正確性信号はモデルに依存しており、Llama 3.2 3Bにのみ可搬性がある: テストの過半数に対するプローブのマージンの81%はConfabQA、PopQA、TriviaQA間の転送に残っている。 ベンチマーク、審査、およびコードがリリースされる。

関連論文リスト

• Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models [0.0]
  我々は,音声による信頼度,隠れ状態に対する線形探索,サンプル回答間の一致を比較した。 第一に、事前充填状態で訓練されたプローブは、サンプリングされた回答がより早く発見されるかどうかを予測します。 第二に、言語化された信頼は不安定である:少し異なるプロンプトテンプレートは、ほとんど相関しないスコアを得る。 第3に、予測エラーは誤解を招く: 単語の信頼度はベースレート近くでクラスタ化され、差別が不十分であるのに対して、サンプリング合意はECEが悪く、解像度が約2倍である。
  論文  参考訳（メタデータ） (2026-10-19T06:04:38Z)
• Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals [0.0]
  解答不可能性は隠蔽状態から線形に退避可能であるが、どの形が表現を共有し、その信号が対話で有用であるかは定かではない。 我々は,ターンラベル付きマルチターンベンチマーク(会話423件,ラベル付きターンステート1,661件)と,明確な質問に答える模擬ユーザによる評価手法を提案する。
  論文  参考訳（メタデータ） (2026-10-06T14:18:13Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• Scoring the Wrong Question: Readout Failures in Constrained-Option Evaluation [8.13968851214856]
  本稿では,複数の選択項目を引用したプロンプトについて検討し,各項目の回答指示に終止符を打つ。 我々は、短いメモのみを与えられた読者モデルが正しく答えるかどうかの予測を求める。 3つのQwen3チェックポイントでは、回答レターが最も可能なトークンである。
  論文  参考訳（メタデータ） (2026-09-27T03:58:18Z)
• Requirement-Bound Verified Commissioning: A Frozen Four-Billion-Parameter Local Model as a Candidate Generator under an External Acceptance Layer with Verification and Release Authority [0.0]
  メカトロニクスにおけるセンサ・コーディネートおよび極性結合のための受け入れプロトコルを開発した。 決定論的文法による要求は、凍結したローカル言語モデルにルーティングされる。 1つの標準回答は、金本位制のユーザから要求される。
  論文  参考訳（メタデータ） (2026-09-24T17:46:53Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• No Usable Linear "Capitulation Direction" in Two Small LLMs: A Validation Protocol for Activation-Steering Claims, and a Cross-Family Behavioral Study of Sycophancy Under Pushback [0.0]
  言語モデルは、ユーザーが押し戻すと、しばしば正しい答えを放棄します。 我々は、異なる家庭の2つの小さな指導訓練モデルでこれを研究する。 測定ハザードの定量化: 降水量の過小評価を18～24ポイントまで下げる。
  論文  参考訳（メタデータ） (2026-07-16T17:15:23Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。