論文の概要: Interpretable sparse fine-tuning with TopKLoRA enables faithful circuit discovery

• arxiv url: http://arxiv.org/abs/2610.32866v1
• Date: Fri, 23 Oct 2026 16:37:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.60892
• Title: Interpretable sparse fine-tuning with TopKLoRA enables faithful circuit discovery
• Title（参考訳）: TopKLoRAによる解釈可能なスパース微調整は、忠実な回路発見を可能にする
• Abstract要約: 解釈可能なLoRA変種であるTopKLoRAの完全な方法を提案する。 我々は,有毒な指示追従データセット上にgemma-2-2b,Qwen2.5-1.5B,Qwen2.5-7Bを微調整してモデル生物を作成する。 各生物について,バックドアを実装するのに十分な回路を同定し,切断する。
• 参考スコア（独自算出の注目度）: 8.174787949639894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning on datasets of unknown origin can create a backdoor in the trained model when the data includes poisoned examples. Difficult to localise and remove, backdoors can persist through safety training. While parameter-efficient fine-tuning methods capture the full parameter changes introduced during training, they are not easily interpretable. We present the full method of TopKLoRA, extending the preliminary proposal of Masiak et al. (2025), an interpretable-by-design LoRA variant in which only the $k$ largest adapter latents are active at each token. Unlike SAEs, TopKLoRA is trained purely on downstream loss, where optimisation pressure incentivises learning functionally causal latents. We demonstrate this sparse LoRA adapter in a sleeper-agent backdoor case study where we create model organisms by fine-tuning gemma-2-2b, Qwen2.5-1.5B, and Qwen2.5-7B on a poisoned instruction-following dataset. For each organism, we identify and ablate a circuit that is both necessary and sufficient to implement the backdoor. Furthermore, our new fine-tuning method produces sparse circuits that are up to an order of magnitude smaller than a dense LoRA baseline, allowing surgical ablation of the malicious capability without sacrificing instruction-following performance. Finally, we propose a technique to construct model organisms with localised circuits using TopKLoRA latents and gradient-routing, which we use to validate the findings of our circuit search algorithm. We consider these findings as a step toward interpretable-by-design architectures that provide faithful units of analysis without compromising model performance. We share our code: https://github.com/interpretable-finetuning/TopKLoRA.
• Abstract（参考訳）: 未知起源のデータセットを微調整することで、有毒なサンプルを含むデータをトレーニングされたモデルにバックドアを作成することができる。 ローカライズや取り外しが難しいため、バックドアは安全訓練を通じて持続することができる。 パラメータ効率のよい微調整手法は、トレーニング中に導入された完全なパラメータ変化をキャプチャするが、容易には解釈できない。 我々はTopKLoRAの完全な方法を提案し、Masiak et al (2025) の予備提案を拡張した。 SAEとは異なり、TopKLoRAは下流の損失に基づいて純粋に訓練される。 そこで我々は,このスパルスLoRAアダプタを,有毒な指示追従データセット上で,gemma-2-2b,Qwen2.5-1.5B,Qwen2.5-7Bを微調整してモデル生物を作製する実験を行った。 各生物について,バックドアを実装するのに十分な回路を同定し,切断する。 さらに,本手法では,高密度のLORAベースラインよりも桁違いに小さいスパース回路を作製し,命令追従性能を犠牲にすることなく,悪質な能力の外科的アブレーションを可能にする。 最後に,TopKLoRAラプタントと勾配ラウトを用いた局所回路を用いたモデル生物の構築手法を提案し,回路探索アルゴリズムの発見を検証した。 本研究は,モデル性能を損なうことなく,忠実な分析単位を提供するアーキテクチャを解釈可能なものにするためのステップであると考えている。 コードを共有する。 https://github.com/interpretable-finetuning/TopKLoRA。

関連論文リスト

• Dual Task Vector Merging: Leveraging Emotion and ASR Knowledge for Low-Resource Alzheimer's Disease Detection [55.990179160175444]
  大規模な事前訓練された音声エンコーダの微調整は容易に過度に行われ、凍結プローブはエンコーダのタスク関連知識を未利用のまま残す。 本稿では,凍結したwav2vec 2.0バックボーンに適応するパラメータ効率の高いDual Task Vector Mergingを提案する。 ADReSSとADReSSoの実験では、二重マージはメインバイナリ設定で凍結プローブ、LoRA、フル微調整よりも改善されている。
  論文  参考訳（メタデータ） (2026-10-17T21:19:12Z)
• Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection [15.215130286922564]
  既存のバックドアの浄化方法は、トリガーの事前知識、クリーンな参照へのアクセス、アグレッシブな再訓練など、少なくとも1つの強い仮定に依存している。 本研究は,これらの仮定を必要とせず,また,疑似パラメータの再訓練を必要とせずに,LoRAで調整したLLMを浄化することを提案する。 本研究の目的は, (i) ベースモデルの汎用能力と (ii) アダプタを用いて学習した新たな下流スキルの両方を保ちながら, 攻撃成功率(ASR)を著しく下げることである。
  論文  参考訳（メタデータ） (2026-09-30T20:28:34Z)
• Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch [31.156115062163412]
  弱教師付きセグメンテーションは、最初にターゲット領域をローカライズするためにクラスアクティベーションマップ(CAM)に大きく依存している。 既存の治療法は、通常、追加のトレーニングステージやプロトタイプ学習を導入し、計算コストを増大させ、堅牢性を低下させる。 本研究では, 容積データの時間的・構造的コヒーレンスをフリーランチとして利用することにより, 信頼できないCAMを修正できる, トレーニング不要なプロトタイプフリーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-22T08:07:38Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Kill it with FIRE: On Leveraging Latent Space Directions for Runtime Backdoor Mitigation in Deep Neural Networks [1.9517610560768623]
  よく知られた脆弱性は、有毒なトレーニングデータや悪意のあるトレーニングプロセスによってニューラルネットワークに導入されたバックドアである。 提案手法はFIRE (Inference-time backdoor mitigation approach) である。 我々はトリガーを、推論機構を補正するために逆に適用できる層間の潜伏空間の方向と見なす。
  論文  参考訳（メタデータ） (2026-02-11T12:13:25Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Analyzing Robustness of the Deep Reinforcement Learning Algorithm in Ramp Metering Applications Considering False Data Injection Attack and Defense [0.0]
  ランプメータリング(英語: Ramp metering)は、高速道路の本線への車両の走行を制御する行為である。 深部Q-Learningアルゴリズムは,ループ検出情報のみを入力として利用する。 モデルは、道路のジオメトリーやレイアウトに関わらず、ほぼすべてのランプ計測サイトに応用できる。
  論文  参考訳（メタデータ） (2023-01-28T00:40:46Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。