論文の概要: Seed-Induced Uniqueness in Transformer Models: Subspace Alignment Governs Subliminal Transfer

• arxiv url: http://arxiv.org/abs/2511.01023v1
• Date: Sun, 02 Nov 2025 17:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.034
• Title: Seed-Induced Uniqueness in Transformer Models: Subspace Alignment Governs Subliminal Transfer
• Title（参考訳）: 変圧器モデルにおける種子誘起特異性:部分空間配位ゲーバーのサブリミナル転送
• Abstract要約: 教師が生徒が線形に復号化できる隠された特徴を埋め込むトランスフォーマーモデルにおけるサブリミナルトランスファーの分析を行う。 伝達強度は特性識別部分空間内のアライメントに比例する。
• 参考スコア（独自算出の注目度）: 0.3805935148497361
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We analyze subliminal transfer in Transformer models, where a teacher embeds hidden traits that can be linearly decoded by a student without degrading main-task performance. Prior work often attributes transferability to global representational similarity, typically quantified with Centered Kernel Alignment (CKA). Using synthetic corpora with disentangled public and private labels, we distill students under matched and independent random initializations. We find that transfer strength hinges on alignment within a trait-discriminative subspace: same-seed students inherit this alignment and show higher leakage {\tau \approx} 0.24, whereas different-seed students -- despite global CKA > 0.9 -- exhibit substantially reduced excess accuracy {\tau \approx} 0.12 - 0.13. We formalize this with subspace-level CKA diagnostic and residualized probes, showing that leakage tracks alignment within the trait-discriminative subspace rather than global representational similarity. Security controls (projection penalty, adversarial reversal, right-for-the-wrong-reasons regularization) reduce leakage in same-base models without impairing public-task fidelity. These results establish seed-induced uniqueness as a resilience property and argue for subspace-aware diagnostics for secure multi-model deployments.
• Abstract（参考訳）: 教師がメインタスク性能を劣化させることなく、生徒が線形に復号できる隠された特徴を埋め込むトランスフォーマーモデルにおけるサブリミナルトランスファーの分析を行う。 以前の研究は、典型的にはCKA(Centered Kernel Alignment)で定量化される、大域的表現的類似性への転送可能性にしばしば寄与する。 公立および私設のラベルを乱した合成コーパスを用いて、一致したランダムな初期化と独立なランダムな初期化の下で学生を蒸留する。 同種学生はこのアライメントを継承し,より高いリーク率を示すのに対し,グローバルCKA > 0.9 であるにもかかわらず,異種学生は著しく過剰な精度を低下させる。 サブスペースレベルのCKA診断および残留化プローブを用いてこれを定式化し、大域的な表現的類似性ではなく、特性識別的部分空間内におけるリークトラックのアライメントを示す。 セキュリティコントロール(プロジェクションペナルティ、逆転、逆転、逆転規則化)は、パブリックタスクの忠実性を損なうことなく、同じベースモデルのリークを減らす。 これらの結果は、弾力性として種による独特性を確立し、セキュアなマルチモデルデプロイメントのためのサブスペース認識診断を主張する。

関連論文リスト

• K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression in Decoder-Only Language Models [32.7114174898989]
  我々は,デコーダのみの言語モデルにおけるペルソナ制御のための構造化曲面として,K/V-cacheの介入について検討する。 表現レベルのアライメントと行動表現の間には2つの一貫した普遍性があり,また位置摂動下での共通の失敗も報告する。
  論文  参考訳（メタデータ） (2026-09-10T02:56:50Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
  アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-18T08:43:33Z)
• Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection [56.362776482614976]
  データセット内のクラス分割評価は、完全に非条件のアウト・オブ・ディストリビューション異常検出のプロキシとして広く利用されている。 このプロトコルは、保持された異常クラスが表現空間の通常の混合と重なり合う場合、悪用される可能性があることを示す。 そこで本研究では,Fashion-MNIST,CIFAR-10,Imagenette間のスコア方向不安定性を予測する。
  論文  参考訳（メタデータ） (2026-05-23T06:27:42Z)
• FedSurrogate: Backdoor Defense in Federated Learning via Layer Criticality and Surrogate Replacement [3.3664896840786525]
  フェデレートラーニングは、バックドア攻撃の影響を受けやすい。 既存の防衛は、現実的な非独立かつ同一に分散された(非IID)データの下で、実質的な偽陽性率に悩まされている。 本稿では,2方向勾配フィルタと層適応型異常検出を組み合わせることで,この制限に対処する新しいバックドアディフェンスであるFedSurrogateを提案する。
  論文  参考訳（メタデータ） (2026-05-11T18:30:32Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Learning Stable Predictors from Weak Supervision under Distribution Shift [2.8410059035029955]
  基盤トラストラベルが利用できない場合には、弱さやプロキシの監視から学ぶことが一般的である。 我々はこれを監督ドリフトとして形式化し、文脈間でのP(y | x, c)の変化として定義される。 我々はCRISPR-Cas13d実験において、RNA-seq応答から誘導効果を間接的に推定する実験を行った。
  論文  参考訳（メタデータ） (2026-04-05T23:46:49Z)
• Partial Causal Structure Learning for Valid Selective Conformal Inference under Interventions [0.0]
  ゲノミクスの実験では、交換可能性はしばしば、対象変数を「影響を受けない」ままにしておく介入のサブセットにのみ保持される。 i)「影響のない」キャリブレーション例の誤分類が、明示的な関数$g(,n)$の汚染分数とキャリブレーションセットサイズを介してどのようにカバレッジを劣化させるか、および (ii) 2つの後続指標$Z_a,i=mathbf1iinmathrmdesc(a)$のみを推定するタスク駆動部分因果学習の定式化。
  論文  参考訳（メタデータ） (2026-03-02T18:58:22Z)
• Causal Imitation Learning Under Measurement Error and Distribution Shift [6.038778620145853]
  ノイズ測定によってのみ、決定関連状態の一部が観察される場合、オフライン模倣学習(IL)について検討する。 本稿では,変数間の因果関係を明示的にモデル化することによって,測定誤差下でのILの一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:06:53Z)
• Generative Classifiers Avoid Shortcut Solutions [84.23247217037134]
  分類に対する差別的なアプローチは、しばしば、分配されるが、小さな分布シフトの下で失敗するショートカットを学習する。 生成型分類器は、主にスパイラルな特徴ではなく、コアとスパイラルの両方の全ての特徴をモデル化することでこの問題を回避することができることを示す。 拡散型および自己回帰型生成型分類器は,5つの標準画像およびテキスト分散シフトベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-31T18:31:46Z)
• Latent Sculpting for Zero-Shot Generalization: A Manifold Learning Approach to Out-of-Distribution Anomaly Detection [2.8547732086436306]
  教師付きディープラーニングの基本的限界は「一般化崩壊」である 階層型2段階表現学習フレームワークであるLatent Sculptingを提案する。 我々は「浸潤」のシナリオについて88.89%の検知率を報告した。
  論文  参考訳（メタデータ） (2025-12-19T11:37:02Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Contrastive Learning Approach for Semi-Supervised Seismic Facies Identification Using High-Confidence Representations [7.636880727970561]
  本研究では, ラベルなしデータの特徴を用いた半教師付き耐震フェーシ同定手法を提案する。 我々は,SEAM AI と Netherlands F3 の2つの公的な地震探査実験を行い,提案モデルは F3 のアノテーションの 1% しか使用せず,90 以上のIOU スコアを達成している。
  論文  参考訳（メタデータ） (2022-10-10T15:36:05Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
  半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。 本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。 CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
  論文  参考訳（メタデータ） (2022-06-13T02:16:26Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Generating Out of Distribution Adversarial Attack using Latent Space Poisoning [5.1314136039587925]
  本稿では,実際の画像が破損しない敵の例を生成する新しいメカニズムを提案する。 潜在空間表現は、画像の固有構造を改ざんするために利用される。 勾配ベースの攻撃とは対照的に、潜時空間中毒は、トレーニングデータセットの独立かつ同一分布をモデル化する分類器の傾きを利用する。
  論文  参考訳（メタデータ） (2020-12-09T13:05:44Z)
• Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions Segmentation [79.58311369297635]
  異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。 wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。 新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
  論文  参考訳（メタデータ） (2020-12-08T02:26:03Z)
• From Anchor Generation to Distribution Alignment: Learning a Discriminative Embedding Space for Zero-Shot Recognition [46.47620562161315]
  ゼロショット学習(ZSL)では、分類されるサンプルは通常、属性などのサイド情報テンプレートに投影される。 我々は,DAGDA(Distriminative Anchor Generation and Distribution Alignment Model)と呼ばれる新しいフレームワークを提案する。 まず, 拡散型グラフ畳み込みネットワークを用いて, クラス情報と側情報の相互作用を明示的にモデル化し, 識別的アンカーを生成する手法を提案する。 第二に、アンカー空間におけるサンプルと対応するアンカーとをさらに整合させるため、細粒度に分布を洗練させることを目的として、意味的関係正則化を導入する。
  論文  参考訳（メタデータ） (2020-02-10T05:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。