論文の概要: A Lightweight Method to Disrupt Memorized Sequences in LLM

• arxiv url: http://arxiv.org/abs/2502.05159v1
• Date: Fri, 07 Feb 2025 18:41:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:11.892390
• Title: A Lightweight Method to Disrupt Memorized Sequences in LLM
• Title（参考訳）: LLMにおける記憶配列を乱す軽量化法
• Authors: Parjanya Prajakta Prashant, Kaustubh Ponkshe, Babak Salimi,
• Abstract要約: 大規模言語モデル(LLM)は、多くのタスクにまたがって印象的な機能を示すが、著作権のあるコンテンツを冗長に再生するリスクがある。 TokenSwapは、文法関連トークンの確率を小さな補助モデルに置き換える軽量でポストホックなアプローチである。 提案手法は,ダウンストリームタスクにほとんど影響を与えず,最大10倍の暗記発生率を効果的に低減する。
• 参考スコア（独自算出の注目度）: 7.144800814025392
• License:
• Abstract: Large language models (LLMs) demonstrate impressive capabilities across many tasks yet risk reproducing copyrighted content verbatim, raising legal and ethical concerns. Although methods like differential privacy or neuron editing can reduce memorization, they typically require costly retraining or direct access to model weights and may degrade performance. To address these challenges, we propose TokenSwap, a lightweight, post-hoc approach that replaces the probabilities of grammar-related tokens with those from a small auxiliary model (e.g., DistilGPT-2). We run extensive experiments on commercial grade models such as Pythia-6.9b and LLaMA-3-8b and demonstrate that our method effectively reduces well-known cases of memorized generation by upto 10x with little to no impact on downstream tasks. Our approach offers a uniquely accessible and effective solution to users of real-world systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、著作権のあるコンテンツを冗長に再生し、法的および倫理的懸念を提起するリスクを冒すことなく、多くのタスクにまたがる印象的な能力を示す。 差分プライバシーやニューロン編集のような手法は記憶を減少させるが、一般的にはコストのかかるトレーニングやモデルの重みへの直接アクセスを必要とし、性能を低下させる可能性がある。 これらの課題に対処するために、TokenSwapを提案する。TokenSwapは、文法関連トークンの確率を小さな補助モデル(例えばDistilGPT-2)に置き換える軽量でポストホックなアプローチである。 我々は,Pythia-6.9b や LLaMA-3-8b などの商用グレードモデルに対する広範な実験を行い,この手法がダウンストリームタスクにほとんど影響を与えずに,記憶生成の有名なケースを最大10倍に効果的に削減できることを実証した。 私たちのアプローチは、現実世界のシステムのユーザに対して、ユニークにアクセス可能で効果的なソリューションを提供します。

関連論文リスト

• Aggressive Post-Training Compression on Extremely Large Language Models [32.589344168888914]
  モデルのサイズを減らすためには、攻撃的な後トレーニングモデル圧縮が必要である。 本稿では,0.7領域以上で8ビット未満の量子化を実現する新しいネットワーク切断技術を提案する。
  論文  参考訳（メタデータ） (2024-09-30T08:47:17Z)
• MEOW: MEMOry Supervised LLM Unlearning Via Inverted Facts [29.593170782882563]
  大きな言語モデル(LLM)は機密情報を記憶し、潜在的な誤用に対する懸念を引き起こす。 以前のプラクティスでは、実用性、効率性、堅牢性という3つの大きな課題に直面しています。 勾配降下に基づくアンラーニング手法であるMEOWを提案する。
  論文  参考訳（メタデータ） (2024-09-18T09:55:48Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Can Reinforcement Learning Unlock the Hidden Dangers in Aligned Large Language Models? [3.258629327038072]
  大規模言語モデル(LLM)は、自然言語処理における印象的な機能を示している。 しかし、これらのモデルによって有害なコンテンツを生成する可能性は持続しているようだ。 本稿では,LLMをジェイルブレイクし,敵の引き金を通したアライメントを逆転させる概念について検討する。
  論文  参考訳（メタデータ） (2024-08-05T17:27:29Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。