論文の概要: Logits of API-Protected LLMs Leak Proprietary Information

• arxiv url: http://arxiv.org/abs/2403.09539v3
• Date: Fri, 08 Nov 2024 18:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:12.966850
• Title: Logits of API-Protected LLMs Leak Proprietary Information
• Title（参考訳）: API検出LDMの一次情報漏洩のロジット
• Authors: Matthew Finlayson, Xiang Ren, Swabha Swayamdipta,
• Abstract要約: 大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 比較的少数のAPIクエリから,APIで保護されたLLMに関する驚くほど多くの非公開情報を学習することが可能であることを示す。
• 参考スコア（独自算出の注目度）: 46.014638838911566
• License:
• Abstract: Large language model (LLM) providers often hide the architectural details and parameters of their proprietary models by restricting public access to a limited API. In this work we show that, with only a conservative assumption about the model architecture, it is possible to learn a surprisingly large amount of non-public information about an API-protected LLM from a relatively small number of API queries (e.g., costing under $1000 USD for OpenAI's gpt-3.5-turbo). Our findings are centered on one key observation: most modern LLMs suffer from a softmax bottleneck, which restricts the model outputs to a linear subspace of the full output space. We exploit this fact to unlock several capabilities, including (but not limited to) obtaining cheap full-vocabulary outputs, auditing for specific types of model updates, identifying the source LLM given a single full LLM output, and even efficiently discovering the LLM's hidden size. Our empirical investigations show the effectiveness of our methods, which allow us to estimate the embedding size of OpenAI's gpt-3.5-turbo to be about 4096. Lastly, we discuss ways that LLM providers can guard against these attacks, as well as how these capabilities can be viewed as a feature (rather than a bug) by allowing for greater transparency and accountability.
• Abstract（参考訳）: 大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 この研究では、モデルアーキテクチャに関する保守的な仮定だけで、比較的少数のAPIクエリ(例えば、OpenAIのgpt-3.5-turboに1000ドル以下)から、APIで保護されたLLMに関する驚くほど多くの非公開情報を学ぶことができることを示しています。 現代のLLMは、モデル出力を全出力空間の線形部分空間に制限するソフトマックスボトルネックに悩まされている。 私たちはこの事実を利用して、安価なフルボキャブラリ出力の取得、特定のタイプのモデル更新の監査、単一のフルLLM出力のソースLLMの特定、さらにはLLMの隠されたサイズを効率的に発見するなど、いくつかの機能をアンロックします。 実験により,OpenAI の gpt-3.5-turbo の埋め込みサイズを約4096。 最後に、LLMプロバイダがこれらの攻撃を防ぎ、透明性と説明責任を高めることで、これらの機能を(バグではなく)機能と見なすことができる方法について論じる。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Verifiable Format Control for Large Language Model Generations [24.789801375314664]
  LLM(Large Language Models)は、一般的な命令に従う能力を満たすことを実証している。 約7B のパラメータを持つ小さな LLM は、よりきめ細かいフォーマット(例えば、検証可能なフォーマット)に苦慮する。
  論文  参考訳（メタデータ） (2025-02-06T20:57:36Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Chain-of-Scrutiny: Detecting Backdoor Attacks for Large Language Models [35.77228114378362]
  大規模言語モデル(LLM)は、攻撃者が設定した特定の「トリガー」を含む入力が悪意ある出力を生成する。 従来の防衛戦略は、モデルアクセスの制限、高い計算コスト、データ要求のため、APIアクセス可能なLLMでは実用的ではない。 バックドア攻撃を緩和するために,LLMのユニークな推論能力を活用するChain-of-Scrutiny (CoS)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:53:25Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。