論文の概要: Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-Based Unlearning for LLMs
- arxiv url: http://arxiv.org/abs/2506.04044v1
- Date: Wed, 04 Jun 2025 15:10:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.406162
- Title: Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-Based Unlearning for LLMs
- Title（参考訳）: Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-based Unlearning for LLMs
- Authors: Aleksey Kudelya, Alexander Shirnin,
- Abstract要約: 本稿では, LIBU (LoRA enhanced influence-based unlearning) について述べる。
このアルゴリズムは、古典的なテクスチャインフルエンス関数を組み合わせて、モデルからデータの影響を除去し、テクスチャ秒オーダーの最適化を行い、全体のユーティリティを安定させる。
- 参考スコア（独自算出の注目度）: 49.1574468325115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes LIBU (LoRA enhanced influence-based unlearning), an algorithm to solve the task of unlearning - removing specific knowledge from a large language model without retraining from scratch and compromising its overall utility (SemEval-2025 Task 4: Unlearning sensitive content from Large Language Models). The algorithm combines classical \textit{influence functions} to remove the influence of the data from the model and \textit{second-order optimization} to stabilize the overall utility. Our experiments show that this lightweight approach is well applicable for unlearning LLMs in different kinds of task.
- Abstract（参考訳）: 本稿では, LIBU (LoRA enhanced influence-based unlearning) について述べる。LIBU (LoRA enhanced influence-based unlearning) は, 学習の課題を解決するアルゴリズムであり, 言語モデルから特定の知識を取り除き,スクラッチから学習し, 全体的な有用性を向上する(SemEval-2025 Task 4: Unsensitive sensitive content from Large Language Models)。
このアルゴリズムは、古典的な \textit{influence function} を組み合わせて、モデルからデータの影響を取り除く。
実験の結果、この軽量なアプローチは、異なる種類のタスクで学習されていないLLMに適用可能であることがわかった。
関連論文リスト
- Multi-Objective Large Language Model Unlearning [3.372396620898397]
グラディエント・アセント(GA)は、対象データ上のモデルの予測確率を減少させるプロアクティブな方法である。
本稿では,多目的大規模言語モデル学習(MOLLM)アルゴリズムを提案する。
実験の結果,MLLM が SOTA GA をベースとした LLM アンラーニング法よりも非ラーニング効果とモデルユーティリティ保存の点で優れていたことが確認された。
論文 参考訳（メタデータ） (2024-12-29T09:35:56Z) - SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning [30.25610464801255]
大規模言語モデル(LLM)は、データ規則や倫理的AIプラクティスに従うための効果的な非学習メカニズムの必要性を強調している。
LLMアンラーニングの研究への関心は高まりつつあるが、LLMアンラーニングの選択の影響は未解明のままである。
我々はLLMアンラーニングにおける選択の重要性を初めて明らかにし、二階最適化と影響アンラーニングの明確な関連性を確立した。
論文 参考訳（メタデータ） (2024-04-28T16:31:32Z) - Offset Unlearning for Large Language Models [49.851093293780615]
delta-Unlearningは、ブラックボックスLLMのためのオフセットのアンラーニングフレームワークである。
デルタアンラーニングは、一般的な対物スコープタスクにおいて、類似またはより強い性能を維持しながら、効果的にターゲットデータを解放できることを示す。
論文 参考訳（メタデータ） (2024-04-17T03:39:51Z) - Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。
我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
論文 参考訳（メタデータ） (2024-02-20T08:41:23Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。