Fugu-MT 論文翻訳(概要): DEAN: Deactivating the Coupled Neurons to Mitigate Fairness-Privacy Conflicts in Large Language Models

論文の概要: DEAN: Deactivating the Coupled Neurons to Mitigate Fairness-Privacy Conflicts in Large Language Models

arxiv url: http://arxiv.org/abs/2410.16672v1
Date: Tue, 22 Oct 2024 04:08:27 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-23 14:25:22.245557
Title: DEAN: Deactivating the Coupled Neurons to Mitigate Fairness-Privacy Conflicts in Large Language Models
Title（参考訳）: DEAN:大言語モデルにおけるフェアネス・プライオリティの衝突を軽減するために結合ニューロンを不活性化する
Authors: Chen Qian, Dongrui Liu, Jie Zhang, Yong Liu, Jing Shao,
Abstract要約: 公平性とプライバシに結合したtextbfDEAN (textbfDEAN) をテキストbfDEアクティベートするためのトレーニングフリー手法を導入し, 公正性とプライバシ意識の相互情報を理論的かつ実証的に低減する。大規模な実験結果から,DEANはトレードオフ現象を排除し,LLMの公平性とプライバシ意識を同時に向上することが示された。
参考スコア（独自算出の注目度）: 34.73299042341535
License:
Abstract: Ensuring awareness of fairness and privacy in Large Language Models (LLMs) is critical. Interestingly, we discover a counter-intuitive trade-off phenomenon that enhancing an LLM's privacy awareness through Supervised Fine-Tuning (SFT) methods significantly decreases its fairness awareness with thousands of samples. To address this issue, inspired by the information theory, we introduce a training-free method to \textbf{DEA}ctivate the fairness and privacy coupled \textbf{N}eurons (\textbf{DEAN}), which theoretically and empirically decrease the mutual information between fairness and privacy awareness. Extensive experimental results demonstrate that DEAN eliminates the trade-off phenomenon and significantly improves LLMs' fairness and privacy awareness simultaneously, \eg improving Qwen-2-7B-Instruct's fairness awareness by 12.2\% and privacy awareness by 14.0\%. More crucially, DEAN remains robust and effective with limited annotated data or even when only malicious fine-tuning data is available, whereas SFT methods may fail to perform properly in such scenarios. We hope this study provides valuable insights into concurrently addressing fairness and privacy concerns in LLMs and can be integrated into comprehensive frameworks to develop more ethical and responsible AI systems. Our code is available at \url{https://github.com/ChnQ/DEAN}.
Abstract（参考訳）: 大規模言語モデル(LLM)における公平性とプライバシの認識の確保が重要である。興味深いことに、SFT(Supervised Fine-Tuning)手法によりLLMのプライバシー意識を高める反直感的なトレードオフ現象は、数千のサンプルによる公正意識を著しく低下させる。情報理論に触発されたこの問題に対処するため,我々は,公正性とプライバシ意識の相互情報を理論的かつ実証的に低減する,公正性とプライバシを結合した「公正性」を定式化する訓練自由手法を導入する。 DEANはトレードオフ現象を排除し、LLMの公平性とプライバシ意識を同時に改善し、Qwen-2-7B-Instructの公正性意識を12.2\%改善し、プライバシー意識を14.0\%改善する。より重要なことは、DEANは限られたアノテートデータや悪意のある微調整データしか利用できない場合にも、堅牢で効果的であり続けるが、SFTメソッドはそのようなシナリオで適切に動作しない可能性がある。この研究は、LLMにおける公正性とプライバシの懸念に同時に対処するための貴重な洞察を提供し、より倫理的で責任のあるAIシステムを開発するための包括的なフレームワークに統合できることを願っている。私たちのコードは \url{https://github.com/ChnQ/DEAN} で利用可能です。

関連論文リスト

A Multivocal Literature Review on Privacy and Fairness in Federated Learning [1.6124402884077915]
フェデレーション学習は、データ共有の必要性を排除することによって、AIアプリケーションに革命をもたらす手段を提供する。最近の研究では、プライバシと公平性の間に固有の緊張が示されています。プライバシーと公正性の関係は無視され、現実世界のアプリケーションにとって重大なリスクをもたらしている、と我々は主張する。
論文参考訳（メタデータ） (2024-08-16T11:15:52Z)
PUFFLE: Balancing Privacy, Utility, and Fairness in Federated Learning [2.8304839563562436]
公平さとプライバシの原則を同時に遵守するマシンラーニングモデルのトレーニングとデプロイは、大きな課題となる。本稿では,FLシナリオにおける実用性,プライバシ,公正性のバランスを探究する上で有効な,高レベルのパラメータ化アプローチであるPUFFLEを紹介する。 PUFFLEは多様なデータセット,モデル,データ分布に対して有効であり,モデルの不公平性を75%まで低減し,最悪のシナリオでは有効性を最大17%削減できることを示す。
論文参考訳（メタデータ） (2024-07-21T17:22:18Z)
No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
論文参考訳（メタデータ） (2024-05-31T08:22:53Z)
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文参考訳（メタデータ） (2024-02-16T16:41:14Z)
Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。その独特な洞察力のある性質とその分析も提示される。
論文参考訳（メタデータ） (2023-10-30T14:15:47Z)
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2023-10-27T04:15:30Z)
Unraveling Privacy Risks of Individual Fairness in Graph Neural Networks [66.0143583366533]
グラフニューラルネットワーク(GNN)は、その拡張現実の応用により、大きな注目を集めている。信頼できるGNNを構築するためには、公平性とプライバシという2つの側面が重要な考慮事項として浮上している。これまでの研究では、GNNの公平性とプライバシの側面を別々に検討し、GNNのパフォーマンスとのトレードオフを明らかにしている。しかし、この2つの側面の相互作用は未解明のままである。
論文参考訳（メタデータ） (2023-01-30T14:52:23Z)
Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2022-09-16T09:58:03Z)
Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文参考訳（メタデータ） (2020-07-10T18:15:10Z)
Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。