論文の概要: Label-Budgeted Attribute Inference from Protected Features in Edge-Cloud Split Multimodal LLMs
- arxiv url: http://arxiv.org/abs/2610.32079v1
- Date: Fri, 23 Oct 2026 02:31:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.327828
- Title: Label-Budgeted Attribute Inference from Protected Features in Edge-Cloud Split Multimodal LLMs
- Title(参考訳): エッジクラウド型マルチモードLCMにおける保護特徴からのラベル予算属性推定
- Abstract要約: エッジクラウド分割推論は、デバイス上でMLLM(Multimodal large language model)の初期レイヤを実行し、中間機能をサーバに送信してタスクを完了させる。
生画像をローカルに保持することは、しばしばプライバシー上の利点として見なされるが、誠実だが正確でないサーバは、受信した機能から年齢、性別、人種などのセンシティブな属性を推測することができる。
本稿では,リカバリ曲線を用いて表現レベルのプライバシを測定するラベル予算型属性推論フレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.5315358874791833
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Edge-cloud split inference runs the early layers of a multimodal large language model (MLLM) on a device and sends intermediate features to a server to complete the task. While keeping raw images local is often perceived as a privacy benefit, an honest-but-curious server can still infer sensitive attributes, such as age, gender, and race, from the received features. Existing protections intervene at the input, transmitted representation, or model's responses, but their native evaluations rely on final-response refusals or fixed-classifier failures, which underestimate an adaptive server's capabilities. To address this, we propose a label-budgeted attribute-inference framework that measures representation-level privacy through a recovery curve: the share of the unprotected leakage the server recovers as a function of its labeled-sample budget, from zero (a classifier trained on unprotected features) to a full labeled set. Our evaluation across two popular MLLMs reveals two critical findings. First, in unprotected pipelines, intermediate features leak all three attributes regardless of the split depth. Second, even when protection mechanisms are deployed across different stages, sensitive information remains recoverable under limited label budgets. For example, Safe-LLaVA removes biometric content from the model's responses, but from the features it transmits in split inference, 20 labeled samples per class recover 75-85% of the unprotected leakage. This work provides a label-budgeted measure of feature-level privacy for split MLLM inference and motivates defenses that act on the transmitted representation.
- Abstract(参考訳): エッジクラウド分割推論は、デバイス上でMLLM(Multimodal large language model)の初期レイヤを実行し、中間機能をサーバに送信してタスクを完了させる。
生画像をローカルに保持することは、しばしばプライバシー上の利点として見なされるが、誠実だが信頼できるサーバは、受信した機能から年齢、性別、人種などのセンシティブな属性を推測することができる。
既存のプロテクションは入力、送信された表現、またはモデルの応答に干渉するが、それらのネイティブ評価は、適応サーバの能力を過小評価する、最終応答の拒絶や固定クラス化の失敗に依存している。
そこで本稿では,ラベル付きサンプル予算の関数としてサーバが回収する非保護リークのシェアを,ゼロ(非保護機能で訓練された分類器)からフルラベルセットまで,リカバリ曲線を通じて表現レベルのプライバシを測定するラベル付き属性推論フレームワークを提案する。
MLLMを2つに分けて評価した結果,2つの重要な結果が得られた。
まず、保護されていないパイプラインでは、中間機能は分割深さに関係なく3つの属性全てをリークする。
第二に、保護機構が様々な段階に展開されても、限られたラベル予算の下で機密情報が回復可能である。
例えば、Safe-LLaVAは、モデルの応答から生体情報を削除するが、分割推論で送信される特徴から、クラス毎に20のラベル付きサンプルが、保護されていないリークの75~85%を回復する。
この研究はMLLM推論を分割し、送信された表現に作用する防御を動機付けるため、ラベルで予算された機能レベルのプライバシの尺度を提供する。
関連論文リスト
- CorrCLIPv2: Harnessing Unlabeled Images for Open-Vocabulary Semantic Segmentation [50.18164168267435]
Open-vocabulary semantic segmentationは、固定されたカテゴリに制限されることなくピクセルを分類することを目的としている。
Contrastive Language-Image Pre-Training (CLIP) はオープン語彙認識の著しい可能性を示す。
この研究は、CorrCLIPv2という名前の、トレーニング不要なオブジェクト中心の統一フレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-17T15:53:40Z) - Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models [24.764929711765944]
マシンアンラーニングは、汎用性を維持しながら、スクラッチからリトレーニングすることなく、指定された知識を除去しようとする。
既存のプライバシ指向のベンチマークでは、主にプロファイルレベルの削除が採用されているが、実用的な要求はよりきめ細かいものが多い。
属性レベルのMLLMアンラーニングをよりきめ細かなタスクとして導入し、長文、数値、短文ターゲット、複数忘れ率、多様な質問タイプにまたがるベンチマークを構築した。
評価の結果,対象属性と保持属性が識別特異性および視覚的証拠を共有していることが判明した。
論文 参考訳(メタデータ) (2026-08-02T05:23:44Z) - OCELOT: Inference-Leakage Budgets for Privacy-Preserving LLM Agents [32.5466552510287]
漏れは累積的であり、個々に無害な放出は、正直だが、真正に曲がりくねった流しに蓄積される。
我々は、秘密に対する敵の信念がどれほど改善するかを予算化するランタイム仲介者であるOCELOTを提示する。
OCELOTは高いタスクユーティリティでのリークを著しく低減し、適応注入、ジェイルブレイク、累積推論、シンク共謀に抵抗する。
論文 参考訳(メタデータ) (2026-06-10T17:13:35Z) - What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference [13.194874392306085]
本稿では、クライアントの入力を再構築するために、中間的なアクティベーションマッチング問題を解決するActInvを紹介する。
この脆弱性を理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅係数(PAF)を開発した。
私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。
論文 参考訳(メタデータ) (2026-05-22T02:14:16Z) - Boundary-targeted Membership Inference Attacks on Safety Classifiers [70.20833439671131]
安全分類器は、セルフハームとメンタルヘルスの議論を含むセンシティブなデータセットに基づいて訓練される。
低信頼例を識別する新たな境界目標選択戦略を導入する。
実験により、相手は会話の19%を安全分類器が5%の偽陽性率でユーザーの苦痛を示すようにフラグ付けして回復できることが示された。
これは最先端のMIAメソッドだけで攻撃するより3.5ドル高い。
論文 参考訳(メタデータ) (2026-05-21T12:05:22Z) - Mechanistic Steering of LLMs Reveals Layer-wise Feature Vulnerabilities in Adversarial Settings [10.295063742066263]
大規模言語モデル(LLM)は、安全アライメントにもかかわらず、有害なアウトプットを生成するためにジェイルブレイクされることがある。
この研究は、ジェイルブレイクの成功は、単独のプロンプトではなく、識別可能な内部特徴によって引き起こされるかどうかを問うものである。
論文 参考訳(メタデータ) (2026-04-25T03:54:03Z) - Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs [61.15237978606501]
大規模言語モデルは、ユーザ生成テキストからプライベートなユーザー属性を推測することができる。
既存の匿名化ベースの防御は粗く、プライバシーを優先する要素を匿名化する際に単語レベルの精度が欠如している。
細粒度匿名化(TRACE)と推論防止最適化(RPS)を組み合わせた統合防衛フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-12T03:37:50Z) - VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks [51.68795949691009]
差分プライバシとメンバシップ推論に基づくフレームワークであるVoxGuardを紹介した。
属性については, 匿名化後も, 性別やアクセントをほぼ完全精度で再現できることが示唆された。
以上の結果から,EERはリークを著しく過小評価し,低FPR評価の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-09-22T20:57:48Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳(メタデータ) (2025-05-22T17:11:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。