論文の概要: Differentially Private Multimodal In-Context Learning

• arxiv url: http://arxiv.org/abs/2603.04894v1
• Date: Thu, 05 Mar 2026 07:36:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.119505
• Title: Differentially Private Multimodal In-Context Learning
• Title（参考訳）: 個人用マルチモーダルインコンテキストラーニング
• Authors: Ivoline C. Ngong, Zarreen Reza, Joseph P. Near,
• Abstract要約: マルチモーダル・タスク・ベクトル(DP-MTV)は,マルチモーダル・マルチモーダル・イン・コンテキスト学習を実現する最初のフレームワークである。 DP-MTVは、プライベートデータを分離したチャンクに分割し、境界感度に層ごとのクリッピングを適用し、アグリゲーションにノイズを加える。 バレプシロン=1.0$で、DP-MTVはVizWizで50%、非プライベートは55%、ゼロショットは35%である。
• 参考スコア（独自算出の注目度）: 3.419780406187682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models are increasingly applied to sensitive domains such as medical imaging and personal photographs, yet existing differentially private methods for in-context learning are limited to few-shot, text-only settings because privacy cost scales with the number of tokens processed. We present Differentially Private Multimodal Task Vectors (DP-MTV), the first framework enabling many-shot multimodal in-context learning with formal $(\varepsilon, δ)$-differential privacy by aggregating hundreds of demonstrations into compact task vectors in activation space. DP-MTV partitions private data into disjoint chunks, applies per-layer clipping to bound sensitivity, and adds calibrated noise to the aggregate, requiring only a single noise addition that enables unlimited inference queries. We evaluate on eight benchmarks across three VLM architectures, supporting deployment with or without auxiliary data. At $\varepsilon=1.0$, DP-MTV achieves 50% on VizWiz compared to 55% non-private and 35% zero-shot, preserving most of the gain from in-context learning under meaningful privacy constraints.
• Abstract（参考訳）: 医用画像や個人写真などの繊細な領域に視覚言語モデルが適用されることが増えているが、既存のテキスト内学習の差分的プライベートな手法は、処理されたトークンの数とともにプライバシーコストがスケールするため、少数ショットのテキストのみの設定に限られている。 そこで我々は,多目的マルチモーダル・タスクベクトル (DP-MTV) を形式的$(\varepsilon, δ)$-differential privacy で実現した最初のフレームワークとして,数百のデモをアクティベーション空間内のコンパクトなタスクベクトルに集約することで,多目的マルチモーダル・インコンテキスト学習を実現する。 DP-MTVは、プライベートデータを結合しないチャンクに分割し、境界感度に層ごとのクリッピングを適用し、アグリゲーションに校正ノイズを追加し、無制限な推論クエリを可能にする1つのノイズ追加しか必要としない。 3つのVLMアーキテクチャにまたがる8つのベンチマークで、補助データの有無にかかわらず、デプロイをサポートする。 DP-MTVは、VizWizで50%、非プライベートが55%、ゼロショットが35%を達成し、意味のあるプライバシー制約の下でコンテキスト内学習から得られる多くの利益を保っている。

関連論文リスト

• Private PoEtry: Private In-Context Learning via Product of Experts [58.496468062236225]
  In-context Learning (ICL) は、大規模言語モデルが推論時に少数の例だけで新しいタスクに適応できるようにする。 ICLに対する既存の差分プライバシーアプローチは、計算コストが高いか、オーバーサンプリング、合成データ生成、あるいは不要なしきい値設定に依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成し、理論的に基盤付けられたフレームワークを与え、アルゴリズムを自明に並列化することができる。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。
  論文  参考訳（メタデータ） (2026-02-04T19:56:24Z)
• GraMFedDHAR: Graph Based Multimodal Differentially Private Federated HAR [0.5008597638379227]
  マルチモーダルセンサデータを用いたヒューマンアクティビティ認識(HAR)は、ノイズや不完全な測定、ラベル付きサンプルの不足、プライバシー上の懸念などにより、依然として困難である。 本稿では、HARタスクに対してグラフベースのマルチモーダルフェデレートラーニングフレームワークGraMFedDHARを提案する。 提案したMultiModalGCNモデルは,DP以外の設定で最大2%高い精度で,ベースラインのMultiModalFFNより優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-06T10:23:17Z)
• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Self-Supervised Pretraining for Differentially Private Learning [5.3358356207700055]
  自己教師付き事前学習(SSP)は、差分プライバシー(DP)を用いたディープラーニングのためのスケーラブルなソリューションである 我々は,SSPが生成する特徴を1つの画像だけに示すことで,同一のプライバシー予算下での非学習手作り機能よりも,プライベートな分類器がはるかに優れた実用性を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-06-14T19:30:23Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。