論文の概要: SVIP: Towards Verifiable Inference of Open-source Large Language Models
- arxiv url: http://arxiv.org/abs/2410.22307v1
- Date: Tue, 29 Oct 2024 17:52:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:43:14.659788
- Title: SVIP: Towards Verifiable Inference of Open-source Large Language Models
- Title（参考訳）: SVIP: オープンソースの大規模言語モデルの検証可能な推論を目指して
- Authors: Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang,
- Abstract要約: オープンソースのLarge Language Models (LLMs)は、最近、自然言語の理解と生成において顕著な能力を示し、様々な領域で広く採用されている。
モデルのサイズが大きくなることで、個々のユーザにとってローカルデプロイメントは現実的ではなく、ブラックボックスAPIを通じて推論を行うコンピューティングサービスプロバイダに頼らざるを得なくなる。
この依存は新たなリスクをもたらす: コンピューティングプロバイダは、要求されたLLMをユーザからの同意なく、より小さく、能力の低いモデルにステルス的に置き換えて、コスト削減の恩恵を受けながら、劣ったアウトプットを配信する。
- 参考スコア（独自算出の注目度）: 33.910670775972335
- License:
- Abstract: Open-source Large Language Models (LLMs) have recently demonstrated remarkable capabilities in natural language understanding and generation, leading to widespread adoption across various domains. However, their increasing model sizes render local deployment impractical for individual users, pushing many to rely on computing service providers for inference through a blackbox API. This reliance introduces a new risk: a computing provider may stealthily substitute the requested LLM with a smaller, less capable model without consent from users, thereby delivering inferior outputs while benefiting from cost savings. In this paper, we formalize the problem of verifiable inference for LLMs. Existing verifiable computing solutions based on cryptographic or game-theoretic techniques are either computationally uneconomical or rest on strong assumptions. We introduce SVIP, a secret-based verifiable LLM inference protocol that leverages intermediate outputs from LLM as unique model identifiers. By training a proxy task on these outputs and requiring the computing provider to return both the generated text and the processed intermediate outputs, users can reliably verify whether the computing provider is acting honestly. In addition, the integration of a secret mechanism further enhances the security of our protocol. We thoroughly analyze our protocol under multiple strong and adaptive adversarial scenarios. Our extensive experiments demonstrate that SVIP is accurate, generalizable, computationally efficient, and resistant to various attacks. Notably, SVIP achieves false negative rates below 5% and false positive rates below 3%, while requiring less than 0.01 seconds per query for verification.
- Abstract（参考訳）: オープンソースのLarge Language Models (LLMs)は、最近、自然言語の理解と生成において顕著な能力を示し、様々な領域で広く採用されている。
しかし、モデルのサイズが大きくなることで、個々のユーザにとってローカルデプロイメントは実用的ではなく、ブラックボックスAPIを通じて推論を行うコンピューティングサービスプロバイダに頼らざるを得なくなる。
この依存は新たなリスクをもたらす: コンピューティングプロバイダは、要求されたLLMをユーザからの同意なく、より小さく、能力の低いモデルにステルス的に置き換えて、コスト削減の恩恵を受けながら、劣ったアウトプットを配信する。
本稿では,LLMの検証可能な推論問題について定式化する。
暗号やゲーム理論に基づく既存の検証可能な計算ソリューションは、計算的に非経済的か、強い仮定で休むかのいずれかである。
SVIPはLLMの中間出力をユニークなモデル識別子として活用する秘密ベースの検証可能なLLM推論プロトコルである。
これらの出力に対してプロキシタスクをトレーニングし、生成されたテキストと処理された中間出力の両方を返すようにコンピューティングプロバイダに要求することで、ユーザは、コンピューティングプロバイダが誠実に動作しているかどうかを確実に検証することができる。
さらに、シークレットメカニズムの統合により、プロトコルのセキュリティをさらに強化する。
我々は、複数の強大かつ適応的なシナリオの下で、我々のプロトコルを徹底的に分析する。
我々はSVIPが正確で、一般化可能で、計算効率が良く、様々な攻撃に耐性があることを実証した。
特に、SVIPは5%未満の偽陰性率と3%未満の偽陰性率を達成し、検証には1クエリあたり0.01秒未満を要した。
関連論文リスト
- Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力
本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。
PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
論文 参考訳（メタデータ） (2025-01-07T17:00:49Z) - Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。
HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。
本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
論文 参考訳（メタデータ） (2024-12-17T09:08:18Z) - Can adversarial attacks by large language models be attributed? [1.3812010983144802]
敵の設定における大規模言語モデルからのアウトプットの寄与は、重要度が増大する可能性が高い重要な課題を示す。
正規言語理論,特にゴールドが導入しアングルインが拡張した限界における言語識別を用いて,この帰属問題について検討する。
以上の結果から,特定の言語クラスの識別不可能性から,特定のLLMに出力を確実に属性付けることは理論的には不可能であることが示唆された。
論文 参考訳（メタデータ） (2024-11-12T18:28:57Z) - FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。
ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。
提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文 参考訳（メタデータ） (2024-11-01T19:19:23Z) - SplitLLM: Collaborative Inference of LLMs for Model Placement and Throughput Optimization [8.121663525764294]
大きな言語モデル(LLM)は、人間のようなテキストを理解し、生成する能力のために、私たちの日常生活において重要な役割を担います。
本稿では,サーバとクライアント間の協調推論アーキテクチャを設計し,スループットの限界を緩和する。
実験では、サーバのワークロードを約1/3削減できるように、効率よくワークロードを分散できることを示した。
論文 参考訳（メタデータ） (2024-10-14T17:38:41Z) - MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
大規模言語モデル(LLM)は目覚ましい能力を示している。
その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。
本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
論文 参考訳（メタデータ） (2024-08-20T10:44:29Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - Chain-of-Scrutiny: Detecting Backdoor Attacks for Large Language Models [35.77228114378362]
大規模言語モデル(LLM)は、攻撃者が設定した特定の「トリガー」を含む入力が悪意ある出力を生成する。
従来の防衛戦略は、モデルアクセスの制限、高い計算コスト、データ要求のため、APIアクセス可能なLLMでは実用的ではない。
バックドア攻撃を緩和するために,LLMのユニークな推論能力を活用するChain-of-Scrutiny (CoS)を提案する。
論文 参考訳（メタデータ） (2024-06-10T00:53:25Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - Privacy-Preserving XGBoost Inference [0.6345523830122165]
採用の大きな障壁は、予測クエリの繊細な性質である。
プライバシ保護機械学習(PPML)の中心的な目標は、暗号化されたクエリをリモートMLサービスに送信できるようにすることだ。
プライバシを保存するXGBoost予測アルゴリズムを提案し,AWS SageMaker上で実証的に評価を行った。
論文 参考訳（メタデータ） (2020-11-09T21:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。