論文の概要: Do Localization Methods Actually Localize Memorized Data in LLMs? A Tale of Two Benchmarks

• arxiv url: http://arxiv.org/abs/2311.09060v2
• Date: Tue, 2 Apr 2024 06:32:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 12:23:14.931156
• Title: Do Localization Methods Actually Localize Memorized Data in LLMs? A Tale of Two Benchmarks
• Title（参考訳）: LLMにおける記憶データのローカライズ手法は実際に存在するか? : 2つのベンチマークの物語
• Authors: Ting-Yun Chang, Jesse Thomason, Robin Jia,
• Abstract要約: 2つのベンチマークは、記憶データに責任があるコンポーネントをピンポイントするローカライズ手法の能力を評価する。 異なる視点にもかかわらず、我々の2つのベンチマークは5つのローカライゼーション手法の一貫性のあるランキングを得る。
• 参考スコア（独自算出の注目度）: 28.46131289972691
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The concept of localization in LLMs is often mentioned in prior work; however, methods for localization have never been systematically and directly evaluated. We propose two complementary benchmarks that evaluate the ability of localization methods to pinpoint LLM components responsible for memorized data. In our INJ benchmark, we actively inject a piece of new information into a small subset of LLM weights, enabling us to directly evaluate whether localization methods can identify these "ground truth" weights. In our DEL benchmark, we evaluate localization by measuring how much dropping out identified neurons deletes a memorized pretrained sequence. Despite their different perspectives, our two benchmarks yield consistent rankings of five localization methods. Methods adapted from network pruning perform well on both benchmarks, and all evaluated methods show promising localization ability. On the other hand, even successful methods identify neurons that are not specific to a single memorized sequence.
• Abstract（参考訳）: LLMにおけるローカライゼーションの概念は、以前の研究でしばしば言及されているが、ローカライゼーションの手法は体系的に直接評価されることはなかった。 記憶データに責任を持つLCMコンポーネントをピンポイントするローカライズ手法の能力を評価するための2つの相補的ベンチマークを提案する。 我々のINJベンチマークでは、LLM重みの小さなサブセットに新しい情報を積極的に注入し、ローカライズ手法がこれらの「基底真理」重みを識別できるかどうかを直接評価する。 DELベンチマークでは、特定されたニューロンが記憶された事前学習シーケンスをどれだけ削除するかを測定することで、ローカライゼーションを評価する。 異なる視点にもかかわらず、我々の2つのベンチマークは5つのローカライゼーション手法の一貫性のあるランキングを得る。 ネットワークプルーニングの手法は両ベンチマークで良好に動作し、評価されたすべての手法は有望なローカライゼーション能力を示す。 一方、成功した方法でさえ単一の記憶配列に特異的でないニューロンを識別する。

関連論文リスト

• Mitigating Memorization In Language Models [37.899013074095336]
  言語モデル(LM)は情報を「記憶」し、トレーニングデータをその重みにエンコードすることで、推論時クエリがそのデータの冗長な復活につながる。 本稿では,メモリ化緩和手法の高速化と評価を目的とした,小型で計算効率のよいLMのスイートであるTinyMemを紹介する。 特に,提案した未学習手法である BalancedSubnet は,目標タスクの性能を保ちながら,記憶情報を削除する他の緩和手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T02:53:51Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
  LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。 固定された-しかしランダム化された-レコードやモデルに依存する従来のMIAとは対照的に、これらの手法は主にポストホックで収集されたデータセットに基づいて評価される。 このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
  論文  参考訳（メタデータ） (2024-06-25T23:12:07Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)
• Localization Distillation for Object Detection [134.12664548771534]
  物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。 本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。 われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
  論文  参考訳（メタデータ） (2022-04-12T17:14:34Z)
• On the Limits of Pseudo Ground Truth in Visual Camera Re-localisation [83.29404673257328]
  再ローカライゼーションベンチマークは、各メソッドが参照アルゴリズムの結果をいかにうまく再現するかを測定する。 このことは、参照アルゴリズムの選択がある種の再ローカライゼーション手法を好むかどうかを問うものである。 本稿では、広く使われている2つの再ローカライゼーションデータセットを分析し、参照アルゴリズムの選択によって評価結果が実際に異なることを示す。
  論文  参考訳（メタデータ） (2021-09-01T12:01:08Z)
• Ground Texture Based Localization Using Compact Binary Descriptors [12.160708336715489]
  地盤テクスチャに基づく位置決めは、車両の高精度位置決めを実現するための有望なアプローチである。 グローバルなローカライゼーションや,その後のローカルローカライゼーション更新に使用できる自己完結型手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T17:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。