Fugu-MT 論文翻訳(概要): AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking

論文の概要: AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking

arxiv url: http://arxiv.org/abs/2503.02443v1
Date: Tue, 04 Mar 2025 09:39:09 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:20:00.704998
Title: AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking
Title（参考訳）: SemEval-2025 Task 4におけるAILS-NTUA:データチャンキングを用いた大規模言語モデルのパラメータ効率向上学習
Authors: Iraklis Premptis, Maria Lymperaiou, Giorgos Filandrianos, Orfeas Menis Mastromichalakis, Athanasios Voulodimos, Giorgos Stamou,
Abstract要約: 低ランク適応と層別微調整を用いたパラメータ効率・勾配に基づくアンラーニングを応用した。我々はデータチャンキングを採用し、忘れたデータを不連続なパーティションに分割し、サイクルサンプリングされた保持サンプルを予め定義された比率でマージする。
参考スコア（独自算出の注目度）: 5.535042121804845
License:
Abstract: The Unlearning Sensitive Content from Large Language Models task aims to remove targeted datapoints from trained models while minimally affecting their general knowledge. In our work, we leverage parameter-efficient, gradient-based unlearning using low-rank (LoRA) adaptation and layer-focused fine-tuning. To further enhance unlearning effectiveness, we employ data chunking, splitting forget data into disjoint partitions and merging them with cyclically sampled retain samples at a pre-defined ratio. Our task-agnostic method achieves an outstanding forget-retain balance, ranking first on leaderboards and significantly outperforming baselines and competing systems.
Abstract（参考訳）: 大規模言語モデルタスクからの学習に敏感なコンテンツは、トレーニングされたモデルからターゲットとなるデータポイントを取り除き、一般的な知識に最小限の影響を及ぼすことを目的としている。本研究では,低ランク(LoRA)適応と層別微調整を用いたパラメータ効率,勾配に基づくアンラーニングを活用する。学習効率をさらに高めるために,データチャンキング,分割分割分割分割,循環サンプリングした保持サンプルと予め定義された比率でマージする。タスク非依存の手法は,まずトップボードにランクインし,ベースラインや競合システムを大幅に上回っている。

関連論文リスト

Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-12T18:57:59Z)
Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
論文参考訳（メタデータ） (2024-09-10T00:59:18Z)
RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models [23.91608718129775]
我々は,大規模言語モデル(LLM)のための新しいtextbfReverse textbfKL-Divergence-based Knowledge textbfDistillation unlearningアルゴリズムであるRKLDを提案する。我々は,実験におけるモデルの有用性を効果的に維持し,品質を著しく忘れることを実現した。
論文参考訳（メタデータ） (2024-06-04T05:51:43Z)
Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding [9.112203072394648]
パワーロースケーリングは、均一サンプリングによる大規模トレーニングが違法に遅いことを示している。アクティブな学習手法は、最も関係のある事例に基づいて学習を優先順位付けすることで、データの効率を向上させることを目的としている。
論文参考訳（メタデータ） (2023-12-08T19:26:13Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:35:59Z)
Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文参考訳（メタデータ） (2022-07-08T10:25:47Z)
ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
論文参考訳（メタデータ） (2021-01-28T00:19:13Z)
DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文参考訳（メタデータ） (2020-11-03T07:49:15Z)
Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [23.00300794016583]
最先端の自然言語理解分類モデルは2段階に従う。微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
論文参考訳（メタデータ） (2020-11-03T01:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。