論文の概要: The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation
- arxiv url: http://arxiv.org/abs/2611.05272v1
- Date: Tue, 03 Nov 2026 17:55:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 13:23:44.644061
- Title: The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation
- Title(参考訳): 無視の幾何学:活性化フラグメンテーションによるLDMの抑制的知識の検出
- Abstract要約: 真の知識は密で低エントロピーのクラスターを形成し、無知は幾何学的断片化を強要することを示す。
結果は、未学習の堅牢性のための単一フェーズのアタックフリープロキシを構成する。
- 参考スコア(独自算出の注目度): 1.329950749508442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating whether a large language model (LLM) genuinely knows a concept remains a fundamental problem, since behavioral metrics can be fooled by suppression: a model that refuses to answer may still harbor recoverable knowledge. The framework measures the geometric coherence of \textit{anon-vectors}, the differences in hidden states between a concept-specific query and its anonymized paraphrase, and shows that genuine knowledge forms a tight, low-entropy cluster while ignorance forces geometric fragmentation. Across ten instruction-tuned LLMs from three model families, all fragmentation metrics reliably separate known from unknown concepts, and post-unlearning, fragmentation geometry correlates with adversarial recovery across four attack types and five unlearning algorithms, though the direction of that relationship is shown to depend on attack methodology. Furthermore, a layer-resolved analysis reveals that different adversarial mechanisms exploit this geometry at varying depths, with high attack-specific correlations that are invisible to behavioral evaluation. Together, these results constitute a single-phase, attack-free proxy for unlearning robustness that captures aspects of parametric knowledge inaccessible to output-level metrics. A reference implementation is available at https://github.com/AdarPeleg/geometry-of-ignorance
- Abstract(参考訳): 大規模言語モデル(LLM)が概念を真に知っているかどうかを評価することは、依然として根本的な問題である。
このフレームワークは、textit{anon-vectors} の幾何学的コヒーレンス、概念固有のクエリと匿名化されたパラフレーズの隠れ状態の違いを測定し、無知が幾何学的断片化を強制する一方で、真の知識が密で低エントロピーなクラスタを形成することを示す。
3つのモデルファミリーからの10の命令チューニングLDM、すべてのフラグメンテーションメトリクスが未知の概念から確実に分離されていること、そして、フラグメンテーション幾何学は4つの攻撃タイプと5つの未学習アルゴリズムの逆の回復と相関するが、その関係の方向は攻撃方法に依存する。
さらに、層分解分析により、異なる対向メカニズムが、この幾何学を様々な深さで利用し、行動評価には見えない高い攻撃特異的相関を持つことが明らかとなった。
これらの結果は、単相でアタックフリーな非学習ロバストなプロキシとして構成され、パラメトリックな知識の側面を出力レベルメトリクスに到達できなくなる。
リファレンス実装はhttps://github.com/AdarPeleg/geometry-of-ignoranceで利用可能である。
関連論文リスト
- When Does Unsupervised Learning Succeed or Fail? A PoS Perspective on Reconstruction-Based Anomaly Detection [4.756592335149889]
再構成に基づく教師なし学習は2つの反対の方法で失敗する。
我々は、これらの障害を、名目成分によって誘導される会合、連合、結合によって特徴づける。
コンパクトな名目連合は、名目忠実な範囲の中で最適であることを示す。
論文 参考訳(メタデータ) (2026-09-23T22:42:21Z) - Hyperbolic Geometry for Open-World Object Detection in Remote Sensing Imagery [7.8811226739863836]
オープンワールドオブジェクト検出(OWOD)は、未知のオブジェクトを識別し、アノテーションが利用可能になったら段階的に学習することによって、クローズドセットの検出を拡張する。
リモートセンシング画像では、オブジェクトカテゴリはしばしば、既存の手法で一般的に採用されているユークリッド空間において不十分に表現される潜在階層関係を示す。
リモートセンシング画像におけるOWODの双曲幾何学を開発し,HyRS-OWODを提案する。
3つのリモートセンシングベンチマークの実験は、最先端OWOD法よりも未知のリコールと漸進学習が一貫した改善を示した。
論文 参考訳(メタデータ) (2026-09-09T02:37:02Z) - Beyond Decision Boundaries: Relational Geometry Attacks on Contrastive Embedding Manifolds [16.306226464987592]
我々は,多様体レベルの関係汚職として,対照的なシステムに対する攻撃を再構成する幾何学的対応型敵攻撃フレームワークを導入する。
提案したフレームワークは、正の対を分割することで、埋め込み多様体内の類似性構造を体系的に歪めている。
提案手法は, 正負類似性構造を完全に逆転しながら, 95.4%から38.6%まで精度を低下させることを示した。
論文 参考訳(メタデータ) (2026-08-10T21:16:03Z) - An Introduction to Causal Reinforcement Learning [58.680653905480284]
因果推論と強化学習は、同じビルディングブロックの異なる側面、すなわち反実的関係で機能する。
私たちは、オンライン、オフ政治、因果計算学習など、さまざまな学習方法の統一的な治療を受けました。
具体的には、政策学習を一般化した因果レンズを用いて、介入すべき場所、模倣学習、反事実学習を紹介し、議論する。
論文 参考訳(メタデータ) (2026-06-23T05:28:33Z) - The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳(メタデータ) (2026-03-11T19:51:33Z) - Causal Manifold Fairness: Enforcing Geometric Invariance in Representation Learning [0.0]
本稿では,因果推論と幾何学的深層学習を橋渡しする新しいフレームワークであるCausal Manifold Fairness(CMF)を紹介する。
デコーダのヤコビアンとヘシアンに制約を課すことにより、CMFは潜在空間の規則が階層群全体にわたって保持されることを保証する。
CMFを合成構造因果モデル (SCMs) で検証し, タスクユーティリティを保ちながら, 敏感な幾何学的歪みを効果的に解消することを示した。
論文 参考訳(メタデータ) (2026-01-06T14:05:22Z) - Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。
提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
論文 参考訳(メタデータ) (2025-09-29T12:15:19Z) - Intrinsic Test of Unlearning Using Parametric Knowledge Traces [43.37036034648977]
近年,大規模言語モデル(LLM)の「学習」概念が注目されている。
未学習の手法を評価するための現在のプロトコルは、関連する知識を監視せずに行動テストに依存している。
我々は、未学習概念のパラメトリックな知識トレースの変化を考慮して、未学習を内部的に評価するべきだと論じている。
論文 参考訳(メタデータ) (2024-06-17T15:00:35Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳(メタデータ) (2021-08-23T09:31:18Z) - Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。
従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。
コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
論文 参考訳(メタデータ) (2021-03-03T20:20:48Z) - ECML: An Ensemble Cascade Metric Learning Mechanism towards Face
Verification [50.137924223702264]
特に、階層的メートル法学習はカスケード方式で実行され、不適合を緩和する。
顔の特徴分布特性を考慮し, 閉形解を用いたロバストなマハラノビス計量学習法(RMML)を提案する。
EC-RMMLは、顔認証のための最先端のメトリック学習法よりも優れている。
論文 参考訳(メタデータ) (2020-07-11T08:47:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。