Fugu-MT 論文翻訳(概要): Privately Learning from Graphs with Applications in Fine-tuning Large Language Models

論文の概要: Privately Learning from Graphs with Applications in Fine-tuning Large Language Models

arxiv url: http://arxiv.org/abs/2410.08299v2
Date: Tue, 16 Sep 2025 18:52:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-18 18:41:50.515463
Title: Privately Learning from Graphs with Applications in Fine-tuning Large Language Models
Title（参考訳）: グラフからの私的学習と微調整大規模言語モデルへの応用
Authors: Haoteng Yin, Rongzhe Wei, Eli Chien, Pan Li,
Abstract要約: グラフから学ぶには、しばしばデータ内の繊細な関係を扱う。 DP-SGDのような既存のプライバシー保護手法は、勾配デカップリングの仮定に依存している。本稿では,関係学習のためのプライバシ保護パイプラインを提案する。
参考スコア（独自算出の注目度）: 20.63522374493782
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graphs offer unique insights into relationships between entities, complementing data modalities like text and images and enabling AI models to extend their capabilities beyond traditional tasks. However, learning from graphs often involves handling sensitive relationships in the data, raising significant privacy concerns. Existing privacy-preserving methods, such as DP-SGD, rely on gradient decoupling assumptions and are incompatible with relational learning due to the inherent dependencies between training samples. To address this challenge, we propose a privacy-preserving pipeline for relational learning that decouples dependencies in sampled relations for training, ensuring differential privacy through a tailored application of DP-SGD. We apply this approach to fine-tune large language models (LLMs), such as Llama2, on sensitive graph data while addressing the associated computational complexities. Our method is evaluated on four real-world text-attributed graphs, demonstrating significant improvements in relational learning tasks while maintaining robust privacy guarantees. Additionally, we analyze the trade-offs between privacy, utility, and computational efficiency, offering insights into the practical deployment of our approach for privacy-preserving relational learning. Code is available at https://github.com/Graph-COM/PvGaLM.
Abstract（参考訳）: グラフはエンティティ間の関係に関するユニークな洞察を提供し、テキストや画像のようなデータモダリティを補完し、AIモデルが従来のタスクを超えて機能を拡張することを可能にする。しかしながら、グラフから学ぶには、データ内のセンシティブな関係を扱い、重要なプライバシー上の懸念を生じさせることが多い。 DP-SGDのような既存のプライバシー保護手法は、勾配デカップリングの仮定に依存しており、トレーニングサンプル間の固有の依存関係のため、関係学習とは相容れない。この課題に対処するために,DP-SGD のカスタマイズアプリケーションを通じて,サンプル関係の依存関係を分離し,差分プライバシーを確保するリレーショナル学習のためのプライバシ保護パイプラインを提案する。本手法は,Llama2のような微調整大型言語モデル(LLM)に対して,関連する計算複雑性に対処しながら,機密性のあるグラフデータに適用する。提案手法は,4つの実世界のテキスト分散グラフを用いて評価し,堅牢なプライバシ保証を維持しつつ,関係学習タスクの大幅な改善を実証する。さらに、プライバシ、ユーティリティ、計算効率のトレードオフを分析し、プライバシを保存するリレーショナル学習のためのアプローチの実践的展開に関する洞察を提供する。コードはhttps://github.com/Graph-COM/PvGaLMで入手できる。

関連論文リスト

Differentially Private Relational Learning with Entity-level Privacy Guarantees [17.567309430451616]
本研究は,形式的エンティティレベルDP保証を用いた関係学習の原則的枠組みを提案する。本稿では,実体発生頻度に基づいてクリッピング閾値を変調する適応的勾配クリッピング方式を提案する。これらの貢献により、プライバシー保証が保証されたリレーショナルデータに対して、DP-SGDの修正版が提供される。
論文参考訳（メタデータ） (2025-06-10T02:03:43Z)
FedMSGL: A Self-Expressive Hypergraph Based Federated Multi-View Learning [12.161006152509655]
自己表現型ハイパーグラフに基づくフェデレーション・マルチビュー学習法(FedMSGL)を提案する。提案手法は,局所学習における自己表現的特徴を利用して,潜在サンプル関係を持つ一様次元部分空間を学習する。特徴次元の異なる多視点データセットによる実験により,提案手法の有効性が検証された。
論文参考訳（メタデータ） (2025-03-12T05:13:45Z)
Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
論文参考訳（メタデータ） (2024-10-01T09:34:06Z)
Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data [9.984630251008868]
この研究は、フェデレートラーニングにおける非IIDデータとストラグラー/ドロップアウトの課題に焦点を当てる。クライアントのローカルデータの一部を非プライベートとしてモデル化する、プライバシフレキシブルなパラダイムを導入し、検討する。
論文参考訳（メタデータ） (2024-04-04T15:29:50Z)
Learning Federated Neural Graph Databases for Answering Complex Queries from Distributed Knowledge Graphs [53.03085605769093]
我々は、マルチソースグラフデータに対するプライバシ保護推論を促進する先駆的な体系的フレームワークであるFederated Neural Graph DataBase(FedNGDB)を学習することを提案する。 FedNGDBは、フェデレートされた学習を活用して、複数のソースにわたるグラフ表現を協調的に学習し、エンティティ間の関係を強化し、グラフデータの全体的な品質を改善する。
論文参考訳（メタデータ） (2024-02-22T14:57:44Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-08-16T13:32:43Z)
Privacy-Preserving Graph Machine Learning from Data to Computation: A Survey [67.7834898542701]
我々は,グラフ機械学習のプライバシ保護手法の見直しに重点を置いている。まずプライバシ保護グラフデータを生成する方法を検討する。次に,プライバシ保護情報を送信する方法について述べる。
論文参考訳（メタデータ） (2023-07-10T04:30:23Z)
Free Lunch for Privacy Preserving Distributed Graph Learning [1.8292714902548342]
分散グラフ学習とグラフベース機械学習のための新しいプライバシ参照フレームワークを提案する。本フレームワークは,生データの本来の構造特性を保ちながら,実際の特徴を必要とせずに,特徴と距離を学習することを目的としている。
論文参考訳（メタデータ） (2023-05-18T10:41:21Z)
Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文参考訳（メタデータ） (2022-03-14T13:48:23Z)
Deep Reinforcement Learning of Graph Matching [63.469961545293756]
ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
論文参考訳（メタデータ） (2020-12-16T13:48:48Z)
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。