論文の概要: Contrastive-Difference CKA Reveals Concept-Specific Structural Alignment Across Language Model Architectures
- arxiv url: http://arxiv.org/abs/2606.16897v1
- Date: Mon, 15 Jun 2026 16:07:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.750844
- Title: Contrastive-Difference CKA Reveals Concept-Specific Structural Alignment Across Language Model Architectures
- Title（参考訳）: 対照的ディファレンスCKAが言語モデルアーキテクチャ全体にわたる概念的構造的アライメントを公表
- Authors: Xueping Gao,
- Abstract要約: 複数の概念ドメインとアーキテクチャファミリにまたがる幾何学的機能的解離を特徴付ける。
コントラスト差分CKA(CKA_Delta)を用いて、概念特異的収束を一般的な類似性から分離する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Do different LLM architectures encode high-level concepts in structurally compatible ways? We systematically characterize a geometric-functional universality dissociation: across multiple concept domains and architectural families, moderate geometric convergence coexists with near-perfect functional transfer. Using contrastive-difference CKA (CKA_Delta), a training-free diagnostic that computes kernel alignment on per-sample contrastive differences, we isolate concept-specific convergence from generic similarity -- achieving significant discrimination where standard CKA cannot. The dissociation replicates across all six concept domains we test (five with p <= 0.017 geometric discrimination and safety as a converging-functional trend, p = 0.08), including two non-instruction concepts (code-vs-NL, reasoning-vs-recall) validated without system prompts; a single 70B--70B pair provides an observational note that universality may strengthen with scale, requiring replication with additional >=70B models. We position CKA_Delta as a practical regime classifier and architectural outlier detector (Gemma: d = 1.08, AUC = 0.79) rather than an absolute transfer-accuracy predictor, providing a training-free diagnostic for cross-architecture concept monitoring.
- Abstract（参考訳）: 異なるLLMアーキテクチャは、構造的に互換性のある方法でハイレベルな概念をエンコードしているか?
複数の概念ドメインとアーキテクチャファミリをまたいだ幾何学的普遍性解離を体系的に特徴づける。
サンプルごとのコントラスト差に対するカーネルアライメントを計算するトレーニング不要の診断であるCKA(CKA_Delta)を使用して、概念固有のコンバージェンスを一般的な類似性から切り離し、標準のCKAではできない重要な差別を実現する。
解離は、システムプロンプトなしで検証された2つの非命令概念(code-vs-NL, reasoning-vs-recall)を含む6つの概念領域すべて(p <= 0.017 の幾何的識別と安全性を収束-機能的傾向としてp = 0.08)を複製する。
我々は、CKA_Deltaを絶対転送精度予測器ではなく、実用的システム分類器およびアーキテクチャ外乱検出器(Gemma: d = 1.08, AUC = 0.79)として位置づけ、クロスアーキテクチャの概念監視のためのトレーニング不要な診断を提供する。
関連論文リスト
- Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis [17.24563134209321]
我々は,微細な構造診断とロバストな標準化された評価を支援する統合トポロジカルツールキットを開発した。
不均一な設定で信頼性の高いベンチマークを可能にするために、正規化された位相類似性(NTS)を提案する。
NTS は -1 と 1 の間に有界なスケール不変距離を求め、非正規化された発散物のスケールとサンプル依存性を効果的に克服する。
論文 参考訳（メタデータ） (2026-06-04T16:14:13Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-04-18T10:50:46Z) - Rethinking Transferable Adversarial Attacks on Point Clouds from a Compact Subspace Perspective [55.919842734983156]
CoSAは、共有された低次元セマンティック空間内で機能する転送可能なアタックフレームワークである。
CoSAは、最先端のトランスファー可能な攻撃を一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-30T15:48:11Z) - Quantum LEGO Learning: A Modular Design Principle for Hybrid Artificial Intelligence [63.39968536637762]
古典的および量子的コンポーネントを再利用可能で構成可能な学習ブロックとして扱う学習フレームワークであるQuantum LEGO Learningを紹介します。
このフレームワーク内では、トレーニング済みの古典的ニューラルネットワークがフリーズ機能ブロックとして機能し、VQCはトレーニング可能な適応モジュールとして機能する。
我々は,学習誤差を近似と推定成分に分解するブロックワイズ一般化理論を開発した。
論文 参考訳（メタデータ） (2026-01-29T14:29:21Z) - A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。
両パラダイムが同じ幾何学的構造をインスタンス化することを示す。
CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
論文 参考訳（メタデータ） (2025-12-08T09:51:46Z) - Bridging Symmetry and Robustness: On the Role of Equivariance in Enhancing Adversarial Robustness [9.013874391203453]
敵対的な例では、知覚不能な入力摂動に対する感度を利用して、ディープニューラルネットワークの重大な脆弱性を明らかにしている。
本研究では,群-同変畳み込みを組込み,対向ロバスト性に対するアーキテクチャ的アプローチについて検討する。
これらの層は、モデル行動と入力空間の構造化変換を整合させる対称性の先行を符号化し、よりスムーズな決定境界を促進する。
論文 参考訳（メタデータ） (2025-10-17T19:26:58Z) - Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。
パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。
我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
論文 参考訳（メタデータ） (2025-06-05T06:39:43Z) - Beyond Scalars: Concept-Based Alignment Analysis in Vision Transformers [10.400355814467401]
ビジョントランスフォーマー(ViT)は、完全な教師付きから自己教師型まで、さまざまな学習パラダイムを使って訓練することができる。
そこで本研究では,4種類のViTから表現する概念に基づくアライメント解析を提案する。
概念に基づく4つの異なるViTの表現のアライメント解析により、教師シップの増大と学習した表現の意味構造の低下が相関していることが明らかとなった。
論文 参考訳（メタデータ） (2024-12-09T16:33:28Z) - Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation [52.0297393822012]
異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。
提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。
提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
論文 参考訳（メタデータ） (2024-10-16T08:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。