論文の概要: Do Localization Methods Actually Localize Memorized Data in LLMs? A Tale of Two Benchmarks
- arxiv url: http://arxiv.org/abs/2311.09060v2
- Date: Tue, 2 Apr 2024 06:32:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 12:23:14.931156
- Title: Do Localization Methods Actually Localize Memorized Data in LLMs? A Tale of Two Benchmarks
- Title(参考訳): LLMにおける記憶データのローカライズ手法は実際に存在するか? : 2つのベンチマークの物語
- Authors: Ting-Yun Chang, Jesse Thomason, Robin Jia,
- Abstract要約: 2つのベンチマークは、記憶データに責任があるコンポーネントをピンポイントするローカライズ手法の能力を評価する。
異なる視点にもかかわらず、我々の2つのベンチマークは5つのローカライゼーション手法の一貫性のあるランキングを得る。
- 参考スコア(独自算出の注目度): 28.46131289972691
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The concept of localization in LLMs is often mentioned in prior work; however, methods for localization have never been systematically and directly evaluated. We propose two complementary benchmarks that evaluate the ability of localization methods to pinpoint LLM components responsible for memorized data. In our INJ benchmark, we actively inject a piece of new information into a small subset of LLM weights, enabling us to directly evaluate whether localization methods can identify these "ground truth" weights. In our DEL benchmark, we evaluate localization by measuring how much dropping out identified neurons deletes a memorized pretrained sequence. Despite their different perspectives, our two benchmarks yield consistent rankings of five localization methods. Methods adapted from network pruning perform well on both benchmarks, and all evaluated methods show promising localization ability. On the other hand, even successful methods identify neurons that are not specific to a single memorized sequence.
- Abstract(参考訳): LLMにおけるローカライゼーションの概念は、以前の研究でしばしば言及されているが、ローカライゼーションの手法は体系的に直接評価されることはなかった。
記憶データに責任を持つLCMコンポーネントをピンポイントするローカライズ手法の能力を評価するための2つの相補的ベンチマークを提案する。
我々のINJベンチマークでは、LLM重みの小さなサブセットに新しい情報を積極的に注入し、ローカライズ手法がこれらの「基底真理」重みを識別できるかどうかを直接評価する。
DELベンチマークでは、特定されたニューロンが記憶された事前学習シーケンスをどれだけ削除するかを測定することで、ローカライゼーションを評価する。
異なる視点にもかかわらず、我々の2つのベンチマークは5つのローカライゼーション手法の一貫性のあるランキングを得る。
ネットワークプルーニングの手法は両ベンチマークで良好に動作し、評価されたすべての手法は有望なローカライゼーション能力を示す。
一方、成功した方法でさえ単一の記憶配列に特異的でないニューロンを識別する。
関連論文リスト
- Is Your LLM Outdated? Benchmarking LLMs & Alignment Algorithms for Time-Sensitive Knowledge [1.7764955091415962]
対象の事実質問に対して,最新の真理回答を持つベンチマークを設計・開発する。
Wikidataからリアルタイムに検索した時間感受性知識に基づいて18のオープンソースおよびクローズドソースLCMを評価した。
論文 参考訳(メタデータ) (2024-04-10T18:08:59Z) - Toward Informal Language Processing: Knowledge of Slang in Large Language Models [16.42982896928428]
我々は,スラングの自動処理に関連するタスクセットの評価を支援するデータセットを構築した。
評価と微調整の両面で,2つのコアアプリケーションにおけるデータセットの有効性を示す。
GPT-4のようなLCMはゼロショット設定で優れた性能を発揮するが、我々のデータセットで微調整された小さなBERTのようなモデルは同等の性能を得る。
論文 参考訳(メタデータ) (2024-04-02T21:50:18Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。
FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。
その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文 参考訳(メタデータ) (2023-07-13T17:14:38Z) - On Learning to Summarize with Large Language Models as References [105.62615205746106]
本研究では,大規模言語モデル(LLM)を,データセット上のゴールドスタンダード・オラクルの参照あるいは参照とみなす新たな学習環境について検討する。
CNN/DailyMailおよびXSumデータセットの実験では、より小さな要約モデルがLLMと同等のパフォーマンスを達成できることが示されている。
しかし,人間による評価では,小型モデルではLLMレベルに到達できないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Localization Distillation for Object Detection [134.12664548771534]
物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。
本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。
われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
論文 参考訳(メタデータ) (2022-04-12T17:14:34Z) - On the Limits of Pseudo Ground Truth in Visual Camera Re-localisation [83.29404673257328]
再ローカライゼーションベンチマークは、各メソッドが参照アルゴリズムの結果をいかにうまく再現するかを測定する。
このことは、参照アルゴリズムの選択がある種の再ローカライゼーション手法を好むかどうかを問うものである。
本稿では、広く使われている2つの再ローカライゼーションデータセットを分析し、参照アルゴリズムの選択によって評価結果が実際に異なることを示す。
論文 参考訳(メタデータ) (2021-09-01T12:01:08Z) - Ground Texture Based Localization Using Compact Binary Descriptors [12.160708336715489]
地盤テクスチャに基づく位置決めは、車両の高精度位置決めを実現するための有望なアプローチである。
グローバルなローカライゼーションや,その後のローカルローカライゼーション更新に使用できる自己完結型手法を提案する。
論文 参考訳(メタデータ) (2020-02-25T17:31:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。