論文の概要: When Do PEFT Adaptations Leak Structure? Measuring Black-Box Structural Bounds in Public-Base Model Services
- arxiv url: http://arxiv.org/abs/2608.05036v1
- Date: Wed, 05 Aug 2026 16:42:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.998854
- Title: When Do PEFT Adaptations Leak Structure? Measuring Black-Box Structural Bounds in Public-Base Model Services
- Title（参考訳）: PEFT適応はいつリーク構造になるか? パブリックベースモデルサービスにおけるブラックボックス構造境界の測定
- Authors: Zhongjiang Yao, Shuangshuang Liang, Chun Yang, LiWei Chen, Gang Shi,
- Abstract要約: 本稿では,ペアの被害者/基地残基をPEFTファミリー上の校正構造境界に変換する測定手法であるVectorHijack-SRを提案する。
我々の推定器は、クエリレベルの大きさ、ランク、エントロピー、マージン、長さ、テンプレート、局所性、スペクトル統計をサービスレベルの表現に集約します。
- 参考スコア（独自算出の注目度）: 13.814085400685613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Services increasingly deploy public foundation models with private parameter-efficient adaptations, creating a differential information leakage risk when auditors or adversaries can execute the public base model locally and observe victim outputs. We present VectorHijack-SR, a measurement methodology that converts paired victim/base residuals into calibrated structural bounds over PEFT family, layer locality, and coarse rank, while separating metadata visibility from open-world validity and operational exploitability. Our estimator aggregates query-level magnitude, ranking, entropy, margin, length, template, locality, and spectral statistics into service-level representations. A service-disjoint classifier quantifies structural evidence, and a cross-fitted hierarchical rejector evaluates whether a victim lies outside the calibrated LoRA manifold. Across classification backbones, family leakage exceeds uniform chance on BERT/MNLI (8/12), RoBERTa/MNLI (21/24), and DeBERTa-v3 on MNLI (12/18) and AG News (15/18). Rank inference is task dependent: BERT/MNLI and DeBERTa/AG News reach 8/9, whereas DeBERTa/MNLI achieves 4/9 and is statistically compatible with chance after correction. On a ten-seed BERT open-set grid, the rejector achieves pooled AUROC 0.804 (95% CI [0.660, 0.927]) and known accuracy 0.956, but remains limited on structurally close DoRA and LoRA+head variants. Exact-version linkage on five held-out LoRA-r64 services reaches AUC 0.940. Experiments reveal a visibility-exploitability gap: two-stage recovery provides no fair-budget query savings, posterior-selected PEFT underperforms distill-then-convert PEFT (0.356 vs. 0.517), and free-running generation remains near chance. These results show that known-base, rich-output PEFT services can leak actionable structural and version information, while closed-set confidence alone does not establish universal adapter recovery.
- Abstract（参考訳）: 監査官や敵が公開ベースモデルをローカルに実行し、被害者のアウトプットを観察できる場合、差分情報漏洩のリスクが生じる。
本稿では,PEFT ファミリー,レイヤの局所性,粗いランク上のキャリブレーションされた構造境界へと変換し,オープンワールドの妥当性と操作性からメタデータの可視性を分離する手法である VectorHijack-SR を提案する。
我々の推定器は、クエリレベルの大きさ、ランク、エントロピー、マージン、長さ、テンプレート、局所性、スペクトル統計をサービスレベルの表現に集約します。
サービス結合型分類器は、構造的証拠を定量化し、クロスフィット型階層的拒否器は、犠牲者が校正されたロラ多様体の外側にあるかどうかを評価する。
分類バックボーン全体では、BERT/MNLI(8/12)、RoBERTa/MNLI(21/24)、DeBERTa-v3(MNLI(12/18)およびAG News(15/18)で家族リークが一様である。
BERT/MNLIとDeBERTa/AG Newsは8/9、DeBERTa/MNLIは4/9に達し、修正後の確率と統計的に互換性がある。
10シードのBERTオープンセットグリッドでは、リジェクタはプールされたAUROC 0.804 (95% CI [0.660, 0.927])と既知の精度0.956を達成するが、構造的に閉じたDoRAとLoRA+ヘッドに制限されている。
5つの LoRA-r64 サービスで有効バージョンリンクが AUC 0.940 に到達した。
2段階のリカバリはフェア予算のクエリセーブを提供しず、後続のPEFTアンダーパフォーマンスは蒸留・タン変換PEFT(0.356対0.517)であり、フリーラン生成は近い確率で残っている。
これらの結果から, 既知のリッチアウトプットPEFTサービスは, 動作可能な構造情報やバージョン情報を漏洩させることができるが, クローズドセットの信頼性だけでは, ユニバーサルアダプタリカバリを確立できないことがわかった。
関連論文リスト
- Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。
提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。
パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
論文 参考訳（メタデータ） (2026-05-26T23:02:38Z) - Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment [4.733680065352959]
低ランク適応(LoRA)は,大規模言語モデル(LLM)のパラメータ効率向上のための強力なツールとして登場した。
本稿では,LoRAを協調学習環境下で研究し,パラメータ効率を保ちながらクライアント間の協調的な微調整を可能にする。
予備的な局所推定器のみに依存する汚染認識フレームワークであるCLAIR(Collaborative Low-rank Alignment and Identifiable Recovery)を提案する。
論文 参考訳（メタデータ） (2026-05-20T14:12:16Z) - AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair [21.974153439592317]
AuditBenchは576,000の登録細胞(96,000が実行)のペア実行トレースコーパスである
宣言された可観測性境界内で評価器-チャネル遮断ランキングの不安定を運用する。
80ケースのソースレベルのチャネルサージェリーサブセット上で、メカニズムアンカレートによる検証がサポートされている。
論文 参考訳（メタデータ） (2026-05-06T08:12:09Z) - Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。
提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。
以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
論文 参考訳（メタデータ） (2026-04-27T14:13:30Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:39:09Z) - Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。
出力アンカートークン確率に基づく正規化信頼スコアを導入する。
これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
論文 参考訳（メタデータ） (2026-02-18T07:05:12Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳（メタデータ） (2025-04-20T09:20:55Z) - Certifiably Byzantine-Robust Federated Conformal Prediction [49.23374238798428]
本稿では,悪意のあるクライアントに対する堅牢な共形予測を行う新しいフレームワークRob-FCPを提案する。
我々は、さまざまなビザンチン攻撃の下で、悪意のあるクライアントの多様な割合に対するRob-FCPの堅牢性を実証的に実証した。
論文 参考訳（メタデータ） (2024-06-04T04:43:30Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。