論文の概要: LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

• arxiv url: http://arxiv.org/abs/2503.18314v2
• Date: Tue, 25 Mar 2025 06:23:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 15:05:42.365638
• Title: LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty
• Title（参考訳）: LoTUS: 不確かさを味わう大規模機械学習
• Authors: Christoforos N. Spartalis, Theodoros Semertzidis, Efstratios Gavves, Petros Daras,
• Abstract要約: 我々は,事前学習モデルからトレーニングサンプルの影響を排除した,新しいMachine Unlearning(MU)手法であるLoTUSを提案する。 LoTUSは、データの記憶から生じる過信を緩和し、情報理論境界までモデルの予測確率を円滑にする。 我々は、TransformerとResNet18モデルのLoTUSを、5つの公開データセットにまたがる8つのベースラインに対して評価する。
• 参考スコア（独自算出の注目度）: 31.008361777309638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present LoTUS, a novel Machine Unlearning (MU) method that eliminates the influence of training samples from pre-trained models, avoiding retraining from scratch. LoTUS smooths the prediction probabilities of the model up to an information-theoretic bound, mitigating its over-confidence stemming from data memorization. We evaluate LoTUS on Transformer and ResNet18 models against eight baselines across five public datasets. Beyond established MU benchmarks, we evaluate unlearning on ImageNet1k, a large-scale dataset, where retraining is impractical, simulating real-world conditions. Moreover, we introduce the novel Retrain-Free Jensen-Shannon Divergence (RF-JSD) metric to enable evaluation under real-world conditions. The experimental results show that LoTUS outperforms state-of-the-art methods in terms of both efficiency and effectiveness. Code: https://github.com/cspartalis/LoTUS.
• Abstract（参考訳）: 本手法は,事前学習モデルからトレーニングサンプルの影響を排除し,スクラッチから再トレーニングを回避することを目的とした,新しいMachine Unlearning(MU)手法である。 LoTUSは、データの記憶から生じる過信を緩和し、情報理論境界までモデルの予測確率を円滑にする。 我々は、TransformerとResNet18モデルのLoTUSを、5つの公開データセットにまたがる8つのベースラインに対して評価する。 確立されたMUベンチマーク以外にも、大規模なデータセットであるImageNet1kでは、リトレーニングは非現実的であり、実際の条件をシミュレートする。 さらに,実環境下での評価を可能にするために,Retrain-Free Jensen-Shannon Divergence (RF-JSD) という新しい指標を導入する。 実験の結果,LoTUSは効率と有効性の両方の観点から最先端の手法よりも優れていた。 コード:https://github.com/cspartalis/LoTUS。

関連論文リスト

• Can Test-Time Scaling Improve World Foundation Model? [67.82670175383761]
  我々は世界基盤モデル(WFM)に適したテストタイムスケーリングフレームワークであるSWIFTを紹介する。 COSMOSモデルの実証的な結果は、テストタイムのスケーリングが計算-最適方法であっても存在することを示している。 その結果,テストタイムスケーリング法則はWFMに対して有効であり,SWIFTはモデルサイズを調整・増大させることなく,WFM推論を改善するためのスケーラブルで効果的な経路を提供することがわかった。
  論文  参考訳（メタデータ） (2025-03-31T17:07:37Z)
• Transfer learning in Scalable Graph Neural Network for Improved Physical Simulation [37.1565271299621]
  本稿では,グラフネットワークシミュレータのための事前学習・転送学習パラダイムを提案する。 提案手法により,少量のトレーニングデータを微調整した場合に,モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-07T08:18:23Z)
• MAD-TD: Model-Augmented Data stabilizes High Update Ratio RL [20.22674077197914]
  最近の研究は、新しいサンプルごとに多数の勾配ステップを持つニューラルネットワークの更新について検討している。 高い更新とデータの比率は、トレーニングプロセスに不安定をもたらす。 時間差分学習のためのモデル拡張データ(MAD-TD)は,少数の生成データを用いて高UTDトレーニングを安定化する。
  論文  参考訳（メタデータ） (2024-10-11T15:13:17Z)
• Understanding Fine-tuning in Approximate Unlearning: A Theoretical Perspective [39.958103832214135]
  ファインチューニング(FT)手法は、未学習を近似するための基本的なアプローチの1つとなっている。 本稿では,線形回帰フレームワーク内での機械学習のためのFT法に関する最初の理論的解析を行う。 本稿では,残りのデータセットに基づいて重量分布マップを構築するRBM(Retention-Based Masking)戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:01:52Z)
• Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training [27.1846697092374]
  事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。 我々は、モデル事前学習が、微分プライベートなフェデレーション学習におけるノイズの軽減をいかに可能か、最初に検討する。
  論文  参考訳（メタデータ） (2024-08-18T13:48:10Z)
• Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems [17.10762463903638]
  我々は人的評価を近似するために評価モデルを訓練し、高い合意を得る。 そこで本研究では,アノテートデータの一部を用いて評価モデルを訓練する弱強監督手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T10:48:14Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
  モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。 しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。 本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。