論文の概要: DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.21539v1
• Date: Wed, 20 May 2026 07:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.460946
• Title: DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models
• Title（参考訳）: DualOptim+: 大規模言語モデルにおける機械学習改善のための共有と分離の最適化状態のブリッジ
• Authors: Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu,
• Abstract要約: 大規模言語モデルにおける機械学習改善のための新しい最適化フレームワークであるDualOptim+を提案する。 目的を忘れ、保持することで共有される共通の表現を捉えるための基本状態と、目的固有の残留物を保存するためのデルタ状態を導入する。 さらに、性能を損なうことなくメモリオーバーヘッドを低減する量子化変種であるDualOptim+8bitを導入する。
• 参考スコア（独自算出の注目度）: 28.795194964735412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose DualOptim+, a novel optimization framework for improving machine unlearning in large language models. It introduces a base state to capture common representations shared by forgetting and retaining objectives and delta states to preserve objective-specific residuals. This architecture allows the optimizer to adaptively bridge shared and decoupled states based on the directional conflict between forgetting and retaining gradients. We further introduce DualOptim+ 8bit, a quantized variant that reduces memory overhead without compromising performance. Extensive experiments across fictitious and real-world unlearning, safety alignment, and multi-task learning tasks demonstrate that DualOptim+ consistently achieves a superior trade-off between different objectives. Codes are available at https://github.com/CityU-MLO/DualOptimPlus.
• Abstract（参考訳）: 大規模言語モデルにおける機械学習改善のための新しい最適化フレームワークであるDualOptim+を提案する。 目的を忘れ、保持することで共有される共通の表現を捉えるための基本状態と、目的固有の残留物を保存するためのデルタ状態を導入する。 このアーキテクチャにより、オプティマイザは、グラデーションの忘れと保持の間の方向性の衝突に基づいて、共有状態と分離状態のブリッジを適応的に行うことができる。 さらに、性能を損なうことなくメモリオーバーヘッドを低減する量子化変種であるDualOptim+8bitを導入する。 架空の、現実世界の未学習、安全アライメント、マルチタスク学習タスクにわたる大規模な実験は、DualOptim+が、異なる目的間の優れたトレードオフを一貫して達成していることを示す。 コードはhttps://github.com/CityU-MLO/DualOptimPlus.comで公開されている。

関連論文リスト

• From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
  VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
  論文  参考訳（メタデータ） (2026-01-15T18:59:10Z)
• Prompt and Parameter Co-Optimization for Large Language Models [35.72638351230096]
  LLM(Large Language Models)トレーニングのために,迅速な最適化と微調整を共同で統合する,新しいフレームワークであるMetaTunerを紹介する。 我々のフレームワークは、プロンプトとパラメータの最適な組み合わせを見つけるために最適化されている。 様々なベンチマーク実験により、我々の手法はベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2025-09-29T03:38:25Z)
• Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
  マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。 本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。 我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
  論文  参考訳（メタデータ） (2025-08-12T07:01:09Z)
• DualOptim: Enhancing Efficacy and Stability in Machine Unlearning with Dual Optimizers [7.365841971996289]
  適応学習率と非結合運動量係数を組み込んだDualOptimを提案する。 画像分類,画像生成,大規模言語モデルなど,様々なタスクにおいて,DualOptimは有効性と安定性を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-04-22T12:18:26Z)
• Multi-Objective Deep Reinforcement Learning for Optimisation in Autonomous Systems [3.2826250607043796]
  MORL(Multi-Objective Reinforcement Learning)技術は存在するが、実世界のASシステムではなくRLベンチマークで採用されている。 本研究では,DWN(Deep W-Learning)と呼ばれるMORL技術を用いて,実行時性能最適化のための最適構成を求める。 我々はDWNとepsilon-greedyアルゴリズムとDeep Q-Networksの2つの単目的最適化実装を比較した。
  論文  参考訳（メタデータ） (2024-08-02T11:16:09Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Meta Mirror Descent: Optimiser Learning for Fast Convergence [85.98034682899855]
  我々は、勾配降下ではなくミラー降下から始まり、対応するブレグマン発散をメタラーニングする。 このパラダイム内では、後悔の限界を最小化するための新しいメタ学習目標を定式化する。 多くのメタ学習オプティマイザとは異なり、収束と一般化の保証もサポートしており、検証データを必要としない。
  論文  参考訳（メタデータ） (2022-03-05T11:41:13Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。