論文の概要: How Private is Your Attention? Bridging Privacy with In-Context Learning
- arxiv url: http://arxiv.org/abs/2504.16000v1
- Date: Tue, 22 Apr 2025 16:05:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 17:31:32.054167
- Title: How Private is Your Attention? Bridging Privacy with In-Context Learning
- Title（参考訳）: あなたの注意はどの程度プライベートか? コンテキスト内学習によるプライバシのブリッジ
- Authors: Soham Bonnerjee, Zhen Wei, Yeon, Anna Asch, Sagnik Nandy, Promit Ghosal,
- Abstract要約: In-context Learning (ICL) - 推論時に提供された例から新しいタスクを実行するトランスフォーマーベースモデルの能力。
線形アテンションヘッドのための差分プライベート事前学習アルゴリズムを提案し、線形回帰におけるICLのプライバシ・正確性トレードオフに関する最初の理論的解析を提示する。
- 参考スコア（独自算出の注目度）: 4.093582834469802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL)-the ability of transformer-based models to perform new tasks from examples provided at inference time-has emerged as a hallmark of modern language models. While recent works have investigated the mechanisms underlying ICL, its feasibility under formal privacy constraints remains largely unexplored. In this paper, we propose a differentially private pretraining algorithm for linear attention heads and present the first theoretical analysis of the privacy-accuracy trade-off for ICL in linear regression. Our results characterize the fundamental tension between optimization and privacy-induced noise, formally capturing behaviors observed in private training via iterative methods. Additionally, we show that our method is robust to adversarial perturbations of training prompts, unlike standard ridge regression. All theoretical findings are supported by extensive simulations across diverse settings.
- Abstract（参考訳）: In-context Learning (ICL) - 推論時に提供された例から新しいタスクを実行するトランスフォーマーベースモデルの能力。
最近の研究でICLの基盤となるメカニズムが研究されているが、公式なプライバシー制約下での実現可能性はほとんど解明されていない。
本稿では,線形アテンションヘッドに対する差分プライベート事前学習アルゴリズムを提案し,線形回帰におけるICLのプライバシ・正確性トレードオフに関する最初の理論的解析を行った。
本研究は,プライバシに起因した騒音と最適化の基本的な緊張を特徴とし,反復的手法による私的訓練で観察される動作を正式に捉えたものである。
さらに,本手法は,通常の隆起回帰とは異なり,トレーニングプロンプトの逆摂動に対して頑健であることを示す。
すべての理論的な発見は、様々な状況において広範なシミュレーションによって支えられている。
関連論文リスト
- Forward Learning with Differential Privacy [27.164507868291913]
そこで我々は,DP-ULR(Disdifferial Private Unified Likelihood Ratio)という,ブループライエタリな前方学習アルゴリズムを提案する。
提案実験により,DP-ULRは,バックプロパゲーションに基づく従来の差分プライバシートレーニングアルゴリズムと比較して,競争性能が向上することが示唆された。
論文 参考訳（メタデータ） (2025-04-01T04:14:53Z) - In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。
この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-03-17T02:00:49Z) - Differentially Private Random Feature Model [52.468511541184895]
プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。
本手法は,プライバシを保護し,一般化誤差を導出する。
論文 参考訳（メタデータ） (2024-12-06T05:31:08Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - A Unified Learn-to-Distort-Data Framework for Privacy-Utility Trade-off in Trustworthy Federated Learning [5.622065847054885]
プライバシとユーティリティの均衡をナビゲートするための原則的アプローチを提供するTextitLearn-to-Distort-Dataフレームワークを提案する。
データ歪みに基づく様々なプライバシー保護機構への我々のフレームワークの適用性を実証する。
論文 参考訳（メタデータ） (2024-07-05T08:15:09Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Safeguarding Data in Multimodal AI: A Differentially Private Approach to
CLIP Training [15.928338716118697]
本稿では,コントラスト言語-画像事前学習(CLIP)モデルの個人適応について紹介する。
提案手法であるDp-CLIPをベンチマークデータを用いて厳密に評価する。
論文 参考訳（メタデータ） (2023-06-13T23:32:09Z) - An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
我々は、VICRegの目的に関する情報理論的な視点を示す。
我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。
既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
論文 参考訳（メタデータ） (2023-03-01T16:36:25Z) - One-shot Empirical Privacy Estimation for Federated Learning [43.317478030880956]
ワンショット」アプローチは、モデルパラメータに適合する単一トレーニング実行において、モデルのプライバシ損失の効率的な監査や推定を可能にする。
提案手法は,ガウス機構下でのプライバシー損失を正当に推定できることを示す。
論文 参考訳（メタデータ） (2023-02-06T19:58:28Z) - Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
セマンティックセグメンテーションのための自己適応型アプローチを提案する。
整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。
実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-10T12:29:01Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。
我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
論文 参考訳（メタデータ） (2020-07-28T13:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。