論文の概要: iShumei-Chinchunmei at SemEval-2025 Task 4: A balanced forgetting and retention multi-task framework using effective unlearning loss

• arxiv url: http://arxiv.org/abs/2507.16263v1
• Date: Tue, 22 Jul 2025 06:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.98961
• Title: iShumei-Chinchunmei at SemEval-2025 Task 4: A balanced forgetting and retention multi-task framework using effective unlearning loss
• Title（参考訳）: iShumei-Chinchunmei at SemEval-2025 Task 4: A balanced forgetting and Retention multi-task framework using effective unlearning loss
• Authors: Yujian Sun, Tian Li,
• Abstract要約: 機械学習は、大規模言語モデルからのセンシティブな情報を効率的に消去することに焦点を当てている。 そこで本研究では, より制御可能な非学習損失, エフェクト・アンラーニング損失を提案する。 我々のシステムは大会のリーダーボードで5位にランクインした。
• 参考スコア（独自算出の注目度）: 6.77698376992826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the Large Language Model (LLM) gains widespread adoption, increasing attention has been given to the challenge of making LLM forget non-compliant data memorized during its pre-training. Machine Unlearning focuses on efficiently erasing sensitive information from LLM under limited computational resources. To advance research in this area, SemEval 2025 Task 4: "Unlearning Sensitive Content from Large Language Models" introduces three unlearning datasets and establishes a benchmark by evaluating both forgetting effectiveness and the preservation of standard capabilities. In this work, we propose a more controllable forgetting loss, Effective Unlearning Loss, and explore its integration with various techniques to achieve more efficient and controlled unlearning. Our system ultimately ranked 5th on the competition leaderboard.
• Abstract（参考訳）: LLM(Large Language Model)が広く普及するにつれて、LLMが事前トレーニング中に記憶した非準拠データを忘れさせるという課題に注目が集まっている。 Machine Unlearningは、限られた計算資源の下でLLMから機密情報を効率的に消去することに焦点を当てている。 この領域の研究を進めるために、SemEval 2025 Task 4: "Unlearning Sensitive Content from Large Language Models"は3つの未学習データセットを導入し、有効性を忘れることと標準機能の保存の両方を評価することでベンチマークを確立する。 本研究では, より制御可能な, 効率よく制御された未学習を実現するために, 学習損失の低減, 効果的な未学習損失の削減, 各種技術との統合について検討する。 私たちのシステムは最終的に、競争のリーダーボードで5位にランクインしました。

関連論文リスト

• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness [30.596695293390415]
  補間近似測定(Interpolated Approximate Measurement, IAM)は、非学習推論用に設計されたフレームワークである。 IAMは、クエリされたサンプルに対するモデルの一般化適合行動ギャップを補間することにより、サンプルレベルの未学習完全性を定量化する。 IAMを最近の近似アンラーニングアルゴリズムに適用し、オーバーアンラーニングとアンダーアンラーニングの両方のリスクを明らかにする。
  論文  参考訳（メタデータ） (2025-06-06T14:22:18Z)
• Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-Based Unlearning for LLMs [49.1574468325115]
  本稿では, LIBU (LoRA enhanced influence-based unlearning) について述べる。 このアルゴリズムは、古典的なテクスチャインフルエンス関数を組み合わせて、モデルからデータの影響を除去し、テクスチャ秒オーダーの最適化を行い、全体のユーティリティを安定させる。
  論文  参考訳（メタデータ） (2025-06-04T15:10:09Z)
• Does Machine Unlearning Truly Remove Model Knowledge? A Framework for Auditing Unlearning in LLMs [58.24692529185971]
  本研究では,3つのベンチマークデータセット,6つのアンラーニングアルゴリズム,および5つのプロンプトベースの監査手法からなる,アンラーニング評価のための総合的な監査フレームワークを提案する。 異なるアンラーニング戦略の有効性とロバスト性を評価する。
  論文  参考訳（メタデータ） (2025-05-29T09:19:07Z)
• AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking [5.535042121804845]
  低ランク適応と層別微調整を用いたパラメータ効率・勾配に基づくアンラーニングを応用した。 我々はデータチャンキングを採用し、忘れたデータを不連続なパーティションに分割し、サイクルサンプリングされた保持サンプルを予め定義された比率でマージする。
  論文  参考訳（メタデータ） (2025-03-04T09:39:09Z)
• Cyber for AI at SemEval-2025 Task 4: Forgotten but Not Lost: The Balancing Act of Selective Unlearning in Large Language Models [0.0]
  大きな言語モデル(LLM)は、プライバシ、倫理、コンプライアンスを維持する上での課題に直面します。 これらのモデルをスクラッチからリトレーニングすることは、計算不可能である。 この課題に対処するために、LLMにおける選択的アンラーニングの適用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-02T07:58:08Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。