Fugu-MT 論文翻訳(概要): Privately Learning from Graphs with Applications in Fine-tuning Large Language Models

論文の概要: Privately Learning from Graphs with Applications in Fine-tuning Large Language Models

arxiv url: http://arxiv.org/abs/2410.08299v1
Date: Thu, 10 Oct 2024 18:38:38 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 04:16:13.224896
Title: Privately Learning from Graphs with Applications in Fine-tuning Large Language Models
Title（参考訳）: グラフからの私的学習と微調整大規模言語モデルへの応用
Authors: Haoteng Yin, Rongzhe Wei, Eli Chien, Pan Li,
Abstract要約: 金融や医療といった繊細な分野のリレーショナルデータは、しばしば私的な情報を含んでいる。 DP-SGDのような既存のプライバシー保護手法は、関係学習には適していない。トレーニング中にサンプル関係の依存関係を分離するプライバシー保護型関係学習パイプラインを提案する。
参考スコア（独自算出の注目度）: 16.972086279204174
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graphs offer unique insights into relationships and interactions between entities, complementing data modalities like text, images, and videos. By incorporating relational information from graph data, AI models can extend their capabilities beyond traditional tasks. However, relational data in sensitive domains such as finance and healthcare often contain private information, making privacy preservation crucial. Existing privacy-preserving methods, such as DP-SGD, which rely on gradient decoupling assumptions, are not well-suited for relational learning due to the inherent dependencies between coupled training samples. To address this challenge, we propose a privacy-preserving relational learning pipeline that decouples dependencies in sampled relations during training, ensuring differential privacy through a tailored application of DP-SGD. We apply this method to fine-tune large language models (LLMs) on sensitive graph data, and tackle the associated computational complexities. Our approach is evaluated on LLMs of varying sizes (e.g., BERT, Llama2) using real-world relational data from four text-attributed graphs. The results demonstrate significant improvements in relational learning tasks, all while maintaining robust privacy guarantees during training. Additionally, we explore the trade-offs between privacy, utility, and computational efficiency, offering insights into the practical deployment of our approach. Code is available at https://github.com/Graph-COM/PvGaLM.
Abstract（参考訳）: グラフはエンティティ間の関係や相互作用に関するユニークな洞察を提供し、テキスト、画像、ビデオなどのデータモダリティを補完する。グラフデータからのリレーショナル情報を組み込むことで、AIモデルは従来のタスクを超えて機能を拡張することができる。しかし、金融や医療などの機密ドメインのリレーショナルデータは、しばしばプライベート情報を含んでいるため、プライバシ保護が不可欠である。 DP-SGDのような既存のプライバシ保護手法は、グラデーションデカップリングの仮定に依存するが、結合したトレーニングサンプル間の固有の依存関係のため、関係学習には適していない。この課題に対処するために,DP-SGDのカスタマイズによる差分プライバシーを確保するために,サンプル関係の依存関係を分離するプライバシー保護型関係学習パイプラインを提案する。本手法は, グラフデータに基づく大規模言語モデル (LLM) の微調整に応用し, 関連する計算複雑性に対処する。提案手法は,4つのテキスト分散グラフからの実時間関係データを用いて,様々なサイズ(例えばBERT,Llama2)のLLMを用いて評価する。その結果、リレーショナル学習タスクにおいて、トレーニング中の堅牢なプライバシ保証を維持しながら、大幅な改善が示された。さらに、プライバシ、ユーティリティ、計算効率のトレードオフについて検討し、アプローチの実践的な展開に関する洞察を提供する。コードはhttps://github.com/Graph-COM/PvGaLMで入手できる。

関連論文リスト

Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
論文参考訳（メタデータ） (2024-10-01T09:34:06Z)
Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data [9.984630251008868]
この研究は、フェデレートラーニングにおける非IIDデータとストラグラー/ドロップアウトの課題に焦点を当てる。クライアントのローカルデータの一部を非プライベートとしてモデル化する、プライバシフレキシブルなパラダイムを導入し、検討する。
論文参考訳（メタデータ） (2024-04-04T15:29:50Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-08-16T13:32:43Z)
Privacy-Preserving Graph Machine Learning from Data to Computation: A Survey [67.7834898542701]
我々は,グラフ機械学習のプライバシ保護手法の見直しに重点を置いている。まずプライバシ保護グラフデータを生成する方法を検討する。次に,プライバシ保護情報を送信する方法について述べる。
論文参考訳（メタデータ） (2023-07-10T04:30:23Z)
Free Lunch for Privacy Preserving Distributed Graph Learning [1.8292714902548342]
分散グラフ学習とグラフベース機械学習のための新しいプライバシ参照フレームワークを提案する。本フレームワークは,生データの本来の構造特性を保ちながら,実際の特徴を必要とせずに,特徴と距離を学習することを目的としている。
論文参考訳（メタデータ） (2023-05-18T10:41:21Z)
Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文参考訳（メタデータ） (2022-03-14T13:48:23Z)
Deep Reinforcement Learning of Graph Matching [63.469961545293756]
ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
論文参考訳（メタデータ） (2020-12-16T13:48:48Z)
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。