論文の概要: Do Localization Methods Actually Localize Memorized Data in LLMs?
- arxiv url: http://arxiv.org/abs/2311.09060v1
- Date: Wed, 15 Nov 2023 15:52:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 15:17:22.598849
- Title: Do Localization Methods Actually Localize Memorized Data in LLMs?
- Title(参考訳): LLMにおける記憶データのローカライズ手法は実際に存在するか?
- Authors: Ting-Yun Chang, Jesse Thomason, and Robin Jia
- Abstract要約: 大規模言語モデル(LLM)は、多くの事前訓練されたシーケンスを冗長に記憶することができる。
本研究は, 特定の配列を記憶する責任を負う小ニューロン群をLLM内に発見できるかどうかを考察する。
- 参考スコア(独自算出の注目度): 28.46131289972691
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) can memorize many pretrained sequences verbatim.
This paper studies if we can locate a small set of neurons in LLMs responsible
for memorizing a given sequence. While the concept of localization is often
mentioned in prior work, methods for localization have never been
systematically and directly evaluated; we address this with two benchmarking
approaches. In our INJ Benchmark, we actively inject a piece of new information
into a small subset of LLM weights and measure whether localization methods can
identify these "ground truth" weights. In the DEL Benchmark, we study
localization of pretrained data that LLMs have already memorized; while this
setting lacks ground truth, we can still evaluate localization by measuring
whether dropping out located neurons erases a memorized sequence from the
model. We evaluate five localization methods on our two benchmarks, and both
show similar rankings. All methods exhibit promising localization ability,
especially for pruning-based methods, though the neurons they identify are not
necessarily specific to a single memorized sequence.
- Abstract(参考訳): 大規模言語モデル(llm)は多くの事前学習されたシーケンスを記憶することができる。
本研究は, 特定の配列を記憶する責任を負う小ニューロン群をLLM内に発見できるかどうかを考察する。
ローカライゼーションの概念は以前の研究でしばしば言及されるが、ローカライゼーションの手法は体系的に直接評価されることはなかった。
我々のINJベンチマークでは、LLM重みの小さなサブセットに新しい情報を積極的に注入し、ローカライゼーション手法がこれらの「基底真理」重みを識別できるかどうかを測定する。
DELベンチマークでは、LLMが既に記憶している事前学習データの局所化について検討し、この設定には基礎的な事実が欠けているが、位置を外れたニューロンがモデルから記憶されたシーケンスを消去するかどうかを測定することで、依然として位置化を評価することができる。
2つのベンチマークで5つのローカライズ手法を評価し、同様のランキングを示す。
いずれの方法も有望な局所化能力を示し、特にプルーニングベースの方法では、それらが識別するニューロンは必ずしも単一の記憶配列に特有ではない。
関連論文リスト
- Is Your LLM Outdated? Benchmarking LLMs & Alignment Algorithms for Time-Sensitive Knowledge [1.7764955091415962]
対象の事実質問に対して,最新の真理回答を持つベンチマークを設計・開発する。
Wikidataからリアルタイムに検索した時間感受性知識に基づいて18のオープンソースおよびクローズドソースLCMを評価した。
論文 参考訳(メタデータ) (2024-04-10T18:08:59Z) - Toward Informal Language Processing: Knowledge of Slang in Large Language Models [16.42982896928428]
我々は,スラングの自動処理に関連するタスクセットの評価を支援するデータセットを構築した。
評価と微調整の両面で,2つのコアアプリケーションにおけるデータセットの有効性を示す。
GPT-4のようなLCMはゼロショット設定で優れた性能を発揮するが、我々のデータセットで微調整された小さなBERTのようなモデルは同等の性能を得る。
論文 参考訳(メタデータ) (2024-04-02T21:50:18Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。
FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。
その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文 参考訳(メタデータ) (2023-07-13T17:14:38Z) - On Learning to Summarize with Large Language Models as References [105.62615205746106]
本研究では,大規模言語モデル(LLM)を,データセット上のゴールドスタンダード・オラクルの参照あるいは参照とみなす新たな学習環境について検討する。
CNN/DailyMailおよびXSumデータセットの実験では、より小さな要約モデルがLLMと同等のパフォーマンスを達成できることが示されている。
しかし,人間による評価では,小型モデルではLLMレベルに到達できないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Localization Distillation for Object Detection [134.12664548771534]
物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。
本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。
われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
論文 参考訳(メタデータ) (2022-04-12T17:14:34Z) - On the Limits of Pseudo Ground Truth in Visual Camera Re-localisation [83.29404673257328]
再ローカライゼーションベンチマークは、各メソッドが参照アルゴリズムの結果をいかにうまく再現するかを測定する。
このことは、参照アルゴリズムの選択がある種の再ローカライゼーション手法を好むかどうかを問うものである。
本稿では、広く使われている2つの再ローカライゼーションデータセットを分析し、参照アルゴリズムの選択によって評価結果が実際に異なることを示す。
論文 参考訳(メタデータ) (2021-09-01T12:01:08Z) - Ground Texture Based Localization Using Compact Binary Descriptors [12.160708336715489]
地盤テクスチャに基づく位置決めは、車両の高精度位置決めを実現するための有望なアプローチである。
グローバルなローカライゼーションや,その後のローカルローカライゼーション更新に使用できる自己完結型手法を提案する。
論文 参考訳(メタデータ) (2020-02-25T17:31:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。