論文の概要: Removing Information Content Does Not Certify Tamper Resistance in Open-Weight Models
- arxiv url: http://arxiv.org/abs/2610.09004v1
- Date: Tue, 06 Oct 2026 18:59:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.564199
- Title: Removing Information Content Does Not Certify Tamper Resistance in Open-Weight Models
- Title(参考訳): オープンウェイトモデルにおけるタンパ抵抗を証明しない情報内容の除去
- Abstract要約: リリース時の相互情報だけでは、回復の遅さを普遍的に証明できないことを示す。
本稿では,この原理を,データフィルタリングとラベル表現による重み付きデータ相互情報に適用する。
- 参考スコア(独自算出の注目度): 22.283880969803846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Does removing harmful information make open-weight models resistant to fine-tuning attacks? We show that mutual information at release alone cannot universally certify slow recovery. Function-preserving reparameterizations leave information unchanged while altering gradient-descent geometry, so an invariant certificate is bounded by the fastest reachable parameterization. We apply this principle to weight--data mutual information under training-data filtering and label--representation mutual information under capability removal. Training order can change recovery time at fixed weight--data information, while exact representation-level independence can preserve the entire parameter Jacobian. An explicit construction has both information quantities equal to zero and recovers in one gradient step. Controlled experiments illustrate order-dependent recovery and parameterization-dependent attack speed. These results identify the missing requirement for certification: constraints on attack dynamics beyond mutual information at release.
- Abstract(参考訳): 有害な情報を除去することで、オープンウェイトモデルは微調整攻撃に耐性があるか?
リリース時の相互情報だけでは、回復の遅さを普遍的に証明できないことを示す。
関数保存リパラメータ化は、勾配線幾何を変えながら情報を変更せず、不変証明書は最も早く到達可能なパラメータ化によって境界づけられる。
本稿では、トレーニングデータフィルタリングとラベル表現による相互情報の除去による重みデータの相互情報に適用し、トレーニング順序は、一定の重みデータ情報における回復時間を変更でき、正確な表現レベルの独立性は、パラメータージャコビアン全体を保存できる。
明示的な構成は、情報量もゼロに等しく、1つの勾配ステップで回復する。
制御された実験では、順序に依存した回復とパラメータ化に依存した攻撃速度が示されている。
これらの結果は、認定の欠如である、リリース時の相互情報を超えた攻撃ダイナミクスに対する制約を特定する。
関連論文リスト
- Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。
ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
論文 参考訳(メタデータ) (2026-09-14T18:58:09Z) - Representation Unlearning: Forgetting through Information Compression [3.9189279162842854]
モデル表現空間で直接学習を行うフレームワークであるRepresentation Unlearningを紹介する。
Representation Unlearningは,パラメータ中心のベースラインよりも信頼性が高く,実用性も向上し,計算効率も向上することを示す。
論文 参考訳(メタデータ) (2026-01-29T11:28:02Z) - Tackling Federated Unlearning as a Parameter Estimation Problem [2.9085589574462816]
本研究は,情報理論に基づく効果的なフェデレート・アンラーニング・フレームワークを提案する。
本手法では, 忘れられているデータに最も敏感なパラメータのみを識別し, 選択的にリセットするために, 2次ヘッセン情報を用いる。
論文 参考訳(メタデータ) (2025-08-26T14:24:45Z) - Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。
私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。
Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
論文 参考訳(メタデータ) (2025-06-04T01:23:35Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T07:53:50Z) - Hard to Forget: Poisoning Attacks on Certified Machine Unlearning [13.516740881682903]
我々は,データ削除の計算コストを増大させようとする攻撃者を考える。
我々は、認定された機械の未学習に対する中毒攻撃を導出し、実証的に調査する。
論文 参考訳(メタデータ) (2021-09-17T01:00:46Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。