論文の概要: A Symmetry-Matching Approach to Blind-Spot Reduction in Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2610.24908v1
- Date: Sat, 17 Oct 2026 23:10:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:23:01.540847
- Title: A Symmetry-Matching Approach to Blind-Spot Reduction in Sparse Autoencoders
- Title（参考訳）: スパースオートエンコーダにおけるブラインド・スポット低減のための対称性マッチング手法
- Abstract要約: 言語モデルは意味的に異なる入力を表現レベルで交換可能であるとして扱う。
臨床用量抽出、法定条項解釈、財務量検証などの安全クリティカルな設定では、そのような障害は下流の意思決定に静かに伝播することができる。
摂動を意識したSAEトレーニングは,下流検証を別の経験的ステップとして残しながら,安全性に配慮した入力変化に対して,特徴ベースを適応させることができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Language models can treat semantically distinct inputs as interchangeable at the representation level, creating blind spots that standard sparse autoencoder (SAE) objectives do not target. In safety-critical settings such as clinical dosage extraction, legal clause interpretation, or financial amount verification, such failures can propagate silently into downstream decisions. We study this problem as one of feature-basis orientation. Building on a symmetry-matching view from algebraic error-detection theory, we add a differentiable $V_{\mathrm{Gini}}$ regularisation term to SAE training that penalises uneven perturbation response within a specified family. Across GPT-2, Gemma 2, and Qwen 2.5, a frozen multi-seed evaluation shows that $V$-regularisation raises both relative and absolute lower-tail responses while reducing response-profile imbalance, with no material general-text reconstruction degradation. JumpReLU and minimum description length (MDL) objectives remain close to the Standard SAE profile under the same protocol. Family-geometry controls show that the effect is not explained by template duplication or a single dominant perturbation family, and held-out probes plus null-calibrated separation tests evaluate how far the representation-level change carries to downstream discriminability. A zero-shot audit on out-of-distribution clinical radiology minimal pairs finds the relative weak-tail lift in all evaluated model-by-family cells, not perfectly rank-aligned with the trained statistic, and a held-out family audit finds it on family kinds never used in training. Together, the results show that perturbation-aware SAE training can reorient feature bases toward safety-relevant input changes while leaving downstream validation as a separate empirical step.
- Abstract（参考訳）: 言語モデルは意味的に異なる入力を表現レベルで交換可能として扱うことができ、標準スパースオートエンコーダ(SAE)がターゲットにしていない盲点を生成する。
臨床用量抽出、法定条項解釈、財務量検証などの安全クリティカルな設定では、そのような障害は下流の意思決定に静かに伝播することができる。
我々はこの問題を特徴ベイズ指向の1つとして研究する。
代数的誤差検出理論からの対称性マッチングの観点に基づいて、特定の族内で不均一な摂動応答を与えるSAEトレーニングに微分可能な$V_{\mathrm{Gini}}$正規化項を加える。
GPT-2, Gemma 2, Qwen 2.5, 凍結したマルチシード評価では, V$-regularization は相対的, 絶対的下尾応答を増大させ, 応答の顕著な不均衡を低減し, 物質的汎用テキスト再構成の分解を伴わない。
JumpReLUと最小記述長(MDL)の目的は同じプロトコルの下で標準SAEプロファイルに近いままである。
家族の幾何学的制御は、この効果がテンプレート複製や1つの支配的な摂動ファミリーによって説明されず、ホールドアウトプローブとヌルキャリブレーションされた分離テストは、表現レベルの変化が下流の識別可能性にどの程度影響するかを評価する。
アウト・オブ・ディストリビューション (out-of-distriion) クリニカル・ラジオロジー(英語版)の最小対のゼロショット・オーディでは、訓練された統計値と完全に一致せず、評価されたモデル・バイ・ファミリーの全てのセルで相対的な弱いテール・リフトが発見され、保持された家族監査では、訓練に使用されていない家族の種類でそれを見つける。
その結果, 摂動を意識したSAEトレーニングは, 下流検証を別段の実証段階として残しながら, 安全性に配慮した入力変化に対して, 特徴ベースを適応させることができた。
関連論文リスト
- SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation [19.966845532052172]
自動音声認識(ASR)のための状況歪み尺度であるSITARを紹介する。
我々はSITARを、単一のフォワードパスで参照-仮説ペアをスコアする軽量BERTファミリー回帰器として訓練する。
本稿では,マクロレベルとマイクロレベルで評価された外在的妥当性と内在的スコアラー信頼性の両方にまたがる原則的検証プロトコルを定式化する。
論文 参考訳（メタデータ） (2026-10-15T07:48:03Z) - When a Flatness Proxy Is Not a Function: Robustness Certificates and Training Interventions [1.9909262723844419]
有効な曲率上限は、ロバスト性証明や本質的な予測特性の介入を正当化しない。
グローバルに有効なゲージ不変な特徴空間修復を導出する。
45回にわたってアルゴリズムモデルと画像モデルのワンステップテストを行い、増幅されたシフトは原規則化予測器を分離し、商規則化予測器は整列する。
論文 参考訳（メタデータ） (2026-09-29T20:57:34Z) - A Controlled Audit of Architectural Complexity in Uncertainty-Aware Multi-Organ Ultrasound Classification [19.598719060464866]
多臓器超音波分類器は、注意力、熟練者の混在、不確実性ゲーティング、そして明らかな深層学習(EDL)の目的を組み合わさりつつある。
本稿では,最大公示候補であるFull-EDLと簡易な代替品との展開決定に応用した,制御された複雑性監査フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-28T08:30:43Z) - From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches [0.0]
機械学習による異常検出は、新しい物理学の探索を再構築している。
本稿では,共形予測に基づく校正層を提案する。
論文 参考訳（メタデータ） (2026-06-11T18:00:02Z) - When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。
この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
論文 参考訳（メタデータ） (2026-06-05T05:20:32Z) - Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳（メタデータ） (2026-03-20T02:07:10Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。
既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。
分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
論文 参考訳（メタデータ） (2025-12-19T16:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。