論文の概要: Understanding Machine Unlearning Through the Lens of Mode Connectivity

• arxiv url: http://arxiv.org/abs/2504.06407v1
• Date: Tue, 08 Apr 2025 20:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:33:28.515575
• Title: Understanding Machine Unlearning Through the Lens of Mode Connectivity
• Title（参考訳）: モード接続性レンズによる機械学習の理解
• Authors: Jiali Cheng, Hadi Amiri,
• Abstract要約: 未学習環境におけるモード接続性について検討した。 その結果,曲線に沿って異なる評価指標の変動パターンが明らかとなった。 これは、機械学習の文脈におけるモード接続に関する最初の研究である。
• 参考スコア（独自算出の注目度）: 14.755831733659699
• License:
• Abstract: Machine Unlearning aims to remove undesired information from trained models without requiring full retraining from scratch. Despite recent advancements, their underlying loss landscapes and optimization dynamics received less attention. In this paper, we investigate and analyze machine unlearning through the lens of mode connectivity - the phenomenon where independently trained models can be connected by smooth low-loss paths in the parameter space. We define and study mode connectivity in unlearning across a range of overlooked conditions, including connections between different unlearning methods, models trained with and without curriculum learning, and models optimized with first-order and secondorder techniques. Our findings show distinct patterns of fluctuation of different evaluation metrics along the curve, as well as the mechanistic (dis)similarity between unlearning methods. To the best of our knowledge, this is the first study on mode connectivity in the context of machine unlearning.
• Abstract（参考訳）: Machine Unlearningは、トレーニングされたモデルから望ましくない情報を、スクラッチから完全なリトレーニングを必要とせずに取り除くことを目的としている。 最近の進歩にもかかわらず、その基盤となる損失状況と最適化のダイナミクスは、あまり注目されなかった。 本稿では、モード接続のレンズを通して機械学習を解析し、独立に訓練されたモデルをパラメータ空間内のスムーズな低損失経路で接続できる現象について述べる。 我々は、さまざまな未学習の方法、カリキュラムなしの学習で訓練されたモデル、一階法と二階法で最適化されたモデルなど、見過ごされているさまざまな条件で、学習中のモード接続を定義し、研究する。 本研究は,曲線に沿って異なる評価指標の変動パターンと,非学習手法の機械的(非学習的)相似性を示す。 我々の知る限りでは、これは機械学習の文脈におけるモード接続に関する最初の研究である。

関連論文リスト

• Adjoint-based online learning of two-layer quasi-geostrophic baroclinic turbulence [1.0985060632689176]
  ますます人気が高まっているアプローチは、パラメータ化のための機械学習アプローチを活用すること、解決された状態と流体系における欠落したフィードバックの間のマップの回帰を教師付き学習タスクとして利用することである。 本稿では,バロクリニック乱流の学習とパラメータ化のための訓練段階における流体力学モデルを含むオンラインアプローチについて検討する。 2つのオンラインアプローチが検討されている: 完全随伴に基づくオンラインアプローチは、従来の随伴最適化アプローチに関連しており、微分可能な動的モデルを必要とする。
  論文  参考訳（メタデータ） (2024-11-21T13:15:01Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Machine Unlearning in Contrastive Learning [3.6218162133579694]
  本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。 提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
  論文  参考訳（メタデータ） (2024-05-12T16:09:01Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Class-wise Federated Unlearning: Harnessing Active Forgetting with Teacher-Student Memory Generation [11.638683787598817]
  能動的忘れ込みに基づく神経刺激型フェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、新しい記憶を利用して古い記憶を上書きすることで、既存の方法と差別化している。 本手法は,バックドア攻撃に対する未学習の完全性を実現する。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination [17.356402088852423]
  本稿では,メタコントローラがモデルベースとモデルフリーの判断をオンラインに調停する,新しいデュアルシステムモーター学習手法を提案する。 シミュレーションと実世界における視覚に基づくロボットグリップ学習におけるベースラインと最先端の手法に対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2020-04-19T12:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。