論文の概要: Entangled Representations Amplify Collateral Damage in Unlearning

• arxiv url: http://arxiv.org/abs/2609.02285v1
• Date: Wed, 02 Sep 2026 08:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.161928
• Title: Entangled Representations Amplify Collateral Damage in Unlearning
• Title（参考訳）: 絡み合った表現は、未学習の副次的損傷を増幅する
• Abstract要約: 我々は、生物学と非生物学の知識のゆがみの程度で、英語のウィキペディアで言語モデル一式を訓練する。 スイート内のすべてのモデルに3つの標準のアンラーニングメソッドを適用することで、より不整合なモデルは、常により良い保持と保護のトレードオフを実現していることがわかる。
• 参考スコア（独自算出の注目度）: 11.283205180022572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A long-held intuition in interpretability research is that representational entanglement, the sharing of structure between knowledge domains in a neural network, makes unlearning harder. While the intuition is widespread, it has never been directly tested in a controlled experiment. We present a way to do so: by repurposing Selective Gradient Masking (SGTM), we train a suite of six 254M-parameter language models on English Wikipedia with graded levels of disentanglement between biology and non-biology knowledge. Applying three standard unlearning methods to every model in the suite, we find that more disentangled models consistently achieve better retain-forget trade-offs: at a fixed level of forgetting, the most disentangled models incur roughly $4\times$ lower retain cost under two of the three methods, and $1.3\times$ lower under the third. Because our intervention changes only the model, not the data or the unlearning algorithm, this is direct evidence that representational entanglement is one of the causes of collateral damage in unlearning, as interpretability researchers have long suspected. A similar design could be used to test other structural claims from interpretability.
• Abstract（参考訳）: 解釈可能性研究における長年の直感は、ニューラルネットワークにおける知識領域間の構造の共有である表現的絡み合いが、学習を困難にしていることである。 直観は広く行われているが、制御された実験で直接テストされたことはない。 SGTM (Selective Gradient Masking) を再構築することで、生物学と非生物学の知識のゆがみのレベルを持つ6つの254Mパラメータ言語モデルを英語ウィキペディアでトレーニングする。 3つの標準のアンラーニング手法をスイートのすべてのモデルに適用すると、より不整合なモデルは、常により良い保持-強制トレードオフを達成することが分かる。 我々の介入は、データやアンラーニングアルゴリズムではなくモデルだけを変えるため、このことは、解釈可能性研究者が長い間疑ってきたように、表現的絡み合いが非ラーニングにおける副次的損傷の原因の1つである、という直接的な証拠である。 同様の設計は、解釈可能性から他の構造的クレームをテストするために使用することができる。

関連論文リスト

• Unraveling Machine Behavior by Multi-Level Bias Analysis and Detection: Methodology and Application to Computer Vision [10.595890561268735]
  本研究では,ニューラルネットワークにおけるバイアスの存在と伝播について,包括的多段階解析を用いて検討する。 本研究では,SpaceBias,ActivationBias,WeightBiasの3つのバイアス検出手法を提案する。 提案手法は,ネットワークアーキテクチャ自体のバイアスが,異なるレベルでどのように現れるかを示す。
  論文  参考訳（メタデータ） (2026-07-08T10:18:51Z)
• HealSplit: Towards Self-Healing through Adversarial Distillation in Split Federated Learning [2.8115115690134744]
  Split Federated Learning (SFL)は、プライバシ保護のための分散学習のための新興パラダイムである。 ローカルな特徴、ラベル、スマッシュデータ、モデルウェイトをターゲットとした高度なデータ中毒攻撃には、依然として脆弱である。 本稿では,SFL用に開発された最初の統一防衛フレームワークであるHealSplitについて述べる。
  論文  参考訳（メタデータ） (2025-11-14T12:42:11Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• Two Independent Teachers are Better Role Model [7.001845833295753]
  我々は3D-DenseUNetと呼ばれる新しいディープラーニングモデルを提案する。 ダウンサンプリングにおけるグローバルアグリゲーションブロックとして機能し、空間情報損失の問題を解決する。 また,ラベル予測の代わりにモデル重みを要約した「2つの独立教師」という手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T08:22:41Z)
• Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
  我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。 まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。 第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
  論文  参考訳（メタデータ） (2022-09-27T15:50:31Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
  バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。 以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
  論文  参考訳（メタデータ） (2022-06-23T15:10:57Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Agree to Disagree: When Deep Learning Models With Identical Architectures Produce Distinct Explanations [0.0]
  我々は,MIMIC-CXRデータセットの特定問題を強調するために,説明整合性の尺度を導入する。 同じモデルの説明がありますが、異なるトレーニングセットアップでは一貫性が低く、平均で$approx$ 33%です。 モデル説明の現在のトレンドは、実生活の医療アプリケーションにおけるモデル展開のリスクを軽減するのに十分ではないと結論づける。
  論文  参考訳（メタデータ） (2021-05-14T12:16:47Z)
• A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
  提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。 MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。 学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
  論文  参考訳（メタデータ） (2020-11-24T10:35:47Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Lipreading using Temporal Convolutional Networks [57.41253104365274]
  現在の単語認識モデルは,残差ネットワークと双方向Gated Recurrent Unit層で構成されている。 このモデルの限界に対処し、その性能をさらに向上させる変更を提案する。 提案モデルでは,これらのデータセットにおいてそれぞれ1.2%と3.2%の絶対的な改善が得られた。
  論文  参考訳（メタデータ） (2020-01-23T17:49:35Z)
• Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation [117.29799759864127]
  3Dポイントクラウドセマンティクスとインスタンスセグメンテーションは、3Dシーン理解にとって不可欠で基本である。 深層ネットワークは、学習過程における非支配的なケースを忘れやすく、不満足なパフォーマンスをもたらす。 本稿では,多様なサンプルを普遍的にカバーする代表プロトタイプを学習し,記憶するメモリ拡張ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-06T01:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。