論文の概要: Holistic Audit Dataset Generation for LLM Unlearning via Knowledge Graph Traversal and Redundancy Removal

• arxiv url: http://arxiv.org/abs/2502.18810v1
• Date: Wed, 26 Feb 2025 04:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:47.902650
• Title: Holistic Audit Dataset Generation for LLM Unlearning via Knowledge Graph Traversal and Redundancy Removal
• Title（参考訳）: 知識グラフトラバーサルと冗長性除去によるLLMアンラーニングのためのホロスティック・オーディット・データセット生成
• Authors: Weipeng Jiang, Juan Zhai, Shiqing Ma, Ziyan Lei, Xiaofei Xie, Yige Wang, Chao Shen,
• Abstract要約: 総合的な監査データセットを生成する上で,2つの重要な課題を特定した。 本稿では,総合的な監査データセット生成のためのフレームワークであるHANKERを提案する。 MUSEベンチマークにHANKERを適用して、69,000件の監査ケースと111,000件の監査ケースを生成しました。
• 参考スコア（独自算出の注目度）: 37.509366668613936
• License:
• Abstract: In recent years, Large Language Models (LLMs) have faced increasing demands to selectively remove sensitive information, protect privacy, and comply with copyright regulations through unlearning, by Machine Unlearning. While evaluating unlearning effectiveness is crucial, existing benchmarks are limited in scale and comprehensiveness, typically containing only a few hundred test cases. We identify two critical challenges in generating holistic audit datasets: ensuring audit adequacy and handling knowledge redundancy between forget and retain dataset. To address these challenges, we propose HANKER, an automated framework for holistic audit dataset generation leveraging knowledge graphs to achieve fine-grained coverage and eliminate redundant knowledge. Applying HANKER to the popular MUSE benchmark, we successfully generated over 69,000 and 111,000 audit cases for the News and Books datasets respectively, identifying thousands of knowledge memorization instances that the previous benchmark failed to detect. Our empirical analysis uncovers how knowledge redundancy significantly skews unlearning effectiveness metrics, with redundant instances artificially inflating the observed memorization measurements ROUGE from 19.7% to 26.1% and Entailment Scores from 32.4% to 35.2%, highlighting the necessity of systematic deduplication for accurate assessment.
• Abstract（参考訳）: 近年,Large Language Models (LLM) は,機密情報を選択的に削除し,プライバシを保護し,アンラーニングを通じて著作権規制に従うことを求める声が高まっている。 未学習の有効性を評価することは重要であるが、既存のベンチマークはスケールと包括性に制限があり、通常は数百のテストケースしか含まない。 総合的な監査データセットを生成する上での2つの重要な課題は、監査の妥当性の確保と、データセットの忘れと保持の間の知識の冗長性処理である。 これらの課題に対処するために,知識グラフを利用した総合監査データセット自動生成フレームワークHANKERを提案する。 人気の高いMUSEベンチマークにHANKERを適用して、NewsとBooksのデータセットに対してそれぞれ69,000と111,000の監査ケースを生成し、前回のベンチマークで検出できなかった数千の知識記憶インスタンスを特定しました。 我々の経験的分析は、知識の冗長性が未学習の有効性の指標を著しく損なうことを明らかにし、冗長なインスタンスは観察された暗記測定を19.7%から26.1%に人工的に膨らませ、追加スコアは32.4%から35.2%に向上し、正確な評価のための体系的な重複の必要性を浮き彫りにした。

関連論文リスト

• Early Detection of At-Risk Students Using Machine Learning [0.0]
  リスクの高い学生を対象としたスクリーニングにより,高等教育の継続と学生の退学率の持続的課題に取り組むことを目的とする。 この研究は、SVM(Support Vector Machines)、Naive Bayes、K-nearest neighbors(KNN)、決定木(Decision Trees)、ロジスティック回帰(Logistic Regression)、ランダムフォレスト(Random Forest)など、いくつかの機械学習モデルを検討する。 分析の結果,全てのアルゴリズムがリスクの高い学生の予測に許容できる結果をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2024-12-12T17:33:06Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• A Scalable and Generalized Deep Learning Framework for Anomaly Detection in Surveillance Videos [0.47279903800557493]
  ビデオにおける異常検出は、暴力、万引き、破壊など、複雑さ、騒音、多様な活動の性質のために困難である。 既存のアプローチでは、広範囲な再トレーニングなしに、さまざまな異常なタスクにディープラーニングモデルを適用するのに苦労しています。 本研究では,特徴一般化向上のための伝達学習,特徴表現向上のためのモデル融合,マルチタスク分類という,3つの重要なコンポーネントからなる新しいDLフレームワークを導入する。 RLVSデータセット(違反検出)では97.99%、UCFデータセットでは83.59%の精度を達成した。
  論文  参考訳（メタデータ） (2024-07-17T22:41:12Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Fake detection in imbalance dataset by Semi-supervised learning with GAN [1.3312007032203859]
  本研究は,100個のラベル付きサンプルを用いた偽アカウントの検出において,81%の精度を達成し,この分野に寄与する。 これは、マイノリティクラスを扱い、偽アカウント検出におけるビッグデータの問題に対処するための強力なツールとしてのSGANの可能性を示している。
  論文  参考訳（メタデータ） (2022-12-02T10:22:18Z)
• Enhancing Robustness of On-line Learning Models on Highly Noisy Data [7.812139470551903]
  新たに設計されたアンサンブル予測を備えたRobust Anomaly Detector(RAD)の2層オンラインデータ選択フレームワークを拡張します。 RADは、異常検出の精度を確実に改善し、IoTデバイス攻撃の98.95%、クラウドタスク障害の85.03%、顔認識の77.51%まで到達することができる。
  論文  参考訳（メタデータ） (2021-03-19T14:13:16Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Unsupervised Attention Based Instance Discriminative Learning for Person Re-Identification [5.233788055084763]
  事前学習をせずにエンドツーエンドで訓練された人物再識別のための教師なしフレームワークを提案する。 提案手法は,グループ畳み込みを組み合わせ,複数スケールでの空間的注意力を高める新しいアテンション機構を利用する。 我々はMarket1501とDukeMTMC-reIDデータセットを用いて広範囲に解析を行い、我々の手法が常に最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T18:08:31Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。