論文の概要: Knowing, and Saying It Only When Asked: LLM Endognostics and the Schizognosis of Minerva-7B
- arxiv url: http://arxiv.org/abs/2609.22219v1
- Date: Wed, 02 Sep 2026 09:38:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.789351
- Title: Knowing, and Saying It Only When Asked: LLM Endognostics and the Schizognosis of Minerva-7B
- Title（参考訳）: LLM内分泌学とMinerva-7Bの分裂病
- Abstract要約: 残留ストリーム内の潜伏知識を抽出し、因果的に操作するように設計された内部監査フレームワーク。
Minerva-7B-Instruct-v1.0を124個の最小のプロンプトペアに適用すると、ほとんどのセットで行動評価が失敗する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating an aligned language model by reading its answers assumes the answers carry the distinction the evaluator cares about. We introduce LLM endognostics, a white-box internal auditing framework designed to extract and causally manipulate latent knowledge within the residual stream. Applied to Minerva-7B-Instruct-v1.0 on 124 minimal prompt pairs over 12 categories of professional risk, behavioral evaluation fails on most of the set: the model acts identically on 63.7% of the pairs (95% CI [55.0%, 71.6%]), complying with or refusing both members. Yet, projecting the residual stream onto the vocabulary by a Jacobian lens reveals a statistically significant Contrastive Endognostic Margin, proving the model maintains robust risk differentiation internally. In a second protocol crossing 25 facts with five linguistic framings, we show that the model conforms to presupposed falsehoods in 72% of cases, despite representing the true entity in its latent layers. Surgically ablating the direction of the planted falsehood restores the correct answer in 11 of 25 suppressed cases (McNemar p = 0.0010), validated by blind human annotation (binary agreement kappa = 0.68). In contrast, an out-of-sample linear probe achieves 77% accuracy at layer 10, but its orthogonal ablation yields a 0% recovery rate. This establishes a fundamental theoretical dissociation: abstract linear representation does not imply causal control over verbalization. Our main contribution is the formalization of endognostics to prove that behavioral evaluation and internal reading systematically disagree in the common case, and that linear decodability is decoupled from causal control.
- Abstract（参考訳）: 回答を読むことで、一致した言語モデルを評価することは、答えが評価者が関心を持っている区別を持っていると仮定する。
残ストリーム内の潜伏知識を抽出し、因果的に操作するホワイトボックス内部監査フレームワークであるLSM endognosticsを紹介した。
Minerva-7B-Instruct-v1.0 の 124 個の最小限のプロンプトペアに適用すると、行動評価はほとんどのセットで失敗する: モデルは2つのペアの 63.7% (95% CI [55.0%, 71.6%) で同一に機能し、両方のメンバーを従わず、あるいは拒否する。
しかし、ヤコビアンレンズで語彙に残留ストリームを投影すると、統計的に有意なContrastive Endognostic Marginが示され、モデルが内部的に堅牢なリスク分化を維持することが証明される。
第2のプロトコルでは、5つの言語的フレーミングを持つ25の事実を横断し、72%のケースにおいてモデルが仮定された偽文に適合することを示した。
植込み偽装の方向を判断すると、25例中11例(McNemar p = 0.0010)で正解が回復し、盲目人アノテーション(バイナリ・コンセンサス・カッパ = 0.68)で検証される。
対照的に、サンプル外線形プローブは層10で77%の精度を達成するが、直交アブレーションは0%の回復率を得る。
抽象線形表現は、動詞化に対する因果的制御を暗示しない。
本研究の主な貢献は,行動評価と内的読解が共通の場合において体系的に異なっており,因果制御から線形復位性が切り離されていることを証明するための内分泌学の形式化である。
関連論文リスト
- The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models [0.0]
スクリーニングモデルは、レシーバー操作特性曲線(AUROC)の領域を0.89付近で定期的に報告する。
心臓梗塞に対するリニア,ツリーアンサンブル,ニューラル,ガラスボックス,タブ状ファンデーションにまたがる10種類の分類器をベンチマークした。
診断後の2つの特徴を取り除いたため、全てのモデル 0.049-0.051 AUROC はフィールドを0.0045幅のバンドに崩壊させた。
ある閾値では、男性の89.0%に対して女性の脳梗塞の75.4%が検出され、モデルの形状機能の編集により、ギャップは0.010に縮小された。
論文 参考訳（メタデータ） (2026-09-10T17:29:15Z) - The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion [8.706093337738869]
本稿では,背景支援型,人中心型,人尾型,候補型応答側ゾーンに問合せ概念を割り当てるフレームワークである概念実証を紹介した。
概念証明を100UQV100トピック,8LLM,5プロンプト条件の77,004クエリに適用し,5条件平均以上1.0のクロスパイプトークン-HCIRスピアマンローを求める。
人間の検証は68.2%の精度で緩和され、45.5%の知識侵入と45.0パーセントのデプロイメント侵入という2つのメカニズムが明らかになった。
論文 参考訳（メタデータ） (2026-08-26T00:06:31Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。
カテゴリー的誘因は有効性には至らなかった。
声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
論文 参考訳（メタデータ） (2026-04-24T04:45:21Z) - A Multi-Domain Red Teaming Framework for Safety, Robustness, and Fairness Evaluation of Medical Large Language Models [34.38896321208398]
大規模言語モデル(LLM)は、ますます医療全体に展開されているが、既存のベンチマークでは、敵対的あるいは倫理的に複雑な条件下でのモデルの振る舞いを捉えていない。
我々は690の臨床的根拠のあるシナリオにまたがる11の現代LPMを評価する多ドメインレッド・チームリング・フレームワークを開発した。
その結果, 平均スコアは0.791～0.984。
論文 参考訳（メタデータ） (2026-04-15T14:57:55Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。