論文の概要: How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective

• arxiv url: http://arxiv.org/abs/2406.16810v2
• Date: Mon, 10 Mar 2025 21:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 22:35:51.206016
• Title: How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective
• Title（参考訳）: データの相互接続がLLMをアンラーニングする方法:構造的アンラーニングの視点から
• Authors: Xinchi Qiu, William F. Shen, Yihong Chen, Meghdad Kurmanji, Nicola Cancedda, Pontus Stenetorp, Nicholas D. Lane,
• Abstract要約: 既存のアプローチでは、忘れられるべきデータポイントは独立であり、接続性を無視していると仮定している。 構造データセットをコンパイルする手法であるPISTOLを提案する。
• 参考スコア（独自算出の注目度）: 29.924482732745954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While unlearning knowledge from large language models (LLMs) is receiving increasing attention, one important aspect remains unexplored. Existing approaches and benchmarks assume data points to-be-forgotten are independent, ignoring their inter-connectivity - a fundamental characteristic of real-world data structures. In this paper, we propose PISTOL, a method for compiling structural datasets. PISTOL leverages the inherently structured nature of contractual relationships, offering several key benefits. First, it enables insights into the impact of structural data on unlearning effectiveness. Second, it provides precise and concise ground truths for clearer evaluation. Third, its attribute generation does not require input from pre-trained LLMs, mitigating confounding risks. Leveraging datasets synthesized using PISTOL, we demonstrate how data inter-connectivity impacts LLM unlearning. Specifically, (a) in both the pre-trained and fine-tuned models, unlearning difficulty increases as data inter-connectivity grows, (b) there is a positive correlation between the density of the knowledge graph and unlearning difficulty, and (c) when the to-be-forgotten data is skewed towards one domain, balancing retaining performance across all domains is challenging.
• Abstract（参考訳）: 大規模言語モデル(LLM)からの未学習の知識が注目されている一方で、重要な側面は未探索のままである。 既存のアプローチとベンチマークでは、忘れられるデータポイントは独立したものであり、実際のデータ構造の基本的特徴である接続性を無視していると仮定している。 本稿では,構造データセットのコンパイル方法であるPISTOLを提案する。 PISTOLは、本質的に構造化された契約関係の性質を活用し、いくつかの重要な利点を提供する。 まず、構造データの学習効果への影響についての洞察を可能にする。 第二に、より明確な評価のために、正確で簡潔な基底真理を提供する。 第三に、その属性生成は、事前訓練されたLCMからの入力を必要とせず、相反するリスクを軽減している。 PISTOLを用いて合成したデータセットを利用することで、データの相互接続がLLMアンラーニングに与える影響を実証する。 具体的には (a) 事前学習モデルと微調整モデルの両方において、データの相互接続が増加するにつれて学習困難が増大する。 b)知識グラフの密度と学習困難度との間には正の相関関係があり、 (c)to-be-forgottenデータが1つのドメインにスキューされると、すべてのドメインでパフォーマンスを維持することは困難である。

関連論文リスト

• RICASSO: Reinforced Imbalance Learning with Class-Aware Self-Supervised Outliers Exposure [21.809270017579806]
  ディープラーニングモデルは、不均衡(ロングテール)とアウト・オブ・ディストリビューション(OOD)の両方のデータから、しばしば課題に直面します。 本研究は、データ混合により、IDデータとOODデータの両方の特徴を示す擬似OODデータを生成することができることを示す。 RICASSO(Reinforced Im Balance Learning)と呼ばれる統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T14:29:32Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Causal Action Influence Aware Counterfactual Data Augmentation [23.949113120847507]
  我々は,オンライン環境のインタラクションにアクセスすることなく,固定データセットから合成トランジションを生成可能なデータ拡張手法であるCAIACを提案する。 因果的影響を定量化するための原理的手法を利用することで、状態空間の$itaction$-unffected部分を交換することで、反ファクト的推論を行うことができる。 これにより、分散シフトに対するオフライン学習アルゴリズムの堅牢性が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-29T09:19:50Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs! [3.844253028598048]
  LLMTrackは、ゼロショット軌道認識にLLMをどのように活用できるかを示すモデルである。 本研究では,屋内シナリオと屋外シナリオを特徴とする異なる軌跡を用いて,現実のデータセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-03-10T12:50:35Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Large Language Models as Data Preprocessors [9.99065004972981]
  大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。 本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。 我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T23:28:43Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees [1.2289361708127877]
  データ間の関係を定量化するためにMCI(Marginal contribute feature importance)が開発された。 本稿では,AIフェアネス文学からの依存除去手法を基盤として,ウルトラマージナル特徴重要度(UMFI)を導入する。 UMFIがMCIよりも優れている実データやシミュレーションデータについて,特に相互関係や非関連性の存在下で述べる。
  論文  参考訳（メタデータ） (2022-04-21T07:54:58Z)
• Federated Causal Discovery [74.37739054932733]
  本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。 ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。 合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-07T08:04:12Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。