論文の概要: Logits of API-Protected LLMs Leak Proprietary Information

• arxiv url: http://arxiv.org/abs/2403.09539v3
• Date: Fri, 08 Nov 2024 18:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:12.966850
• Title: Logits of API-Protected LLMs Leak Proprietary Information
• Title（参考訳）: API検出LDMの一次情報漏洩のロジット
• Authors: Matthew Finlayson, Xiang Ren, Swabha Swayamdipta,
• Abstract要約: 大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 比較的少数のAPIクエリから,APIで保護されたLLMに関する驚くほど多くの非公開情報を学習することが可能であることを示す。
• 参考スコア（独自算出の注目度）: 46.014638838911566
• License:
• Abstract: Large language model (LLM) providers often hide the architectural details and parameters of their proprietary models by restricting public access to a limited API. In this work we show that, with only a conservative assumption about the model architecture, it is possible to learn a surprisingly large amount of non-public information about an API-protected LLM from a relatively small number of API queries (e.g., costing under $1000 USD for OpenAI's gpt-3.5-turbo). Our findings are centered on one key observation: most modern LLMs suffer from a softmax bottleneck, which restricts the model outputs to a linear subspace of the full output space. We exploit this fact to unlock several capabilities, including (but not limited to) obtaining cheap full-vocabulary outputs, auditing for specific types of model updates, identifying the source LLM given a single full LLM output, and even efficiently discovering the LLM's hidden size. Our empirical investigations show the effectiveness of our methods, which allow us to estimate the embedding size of OpenAI's gpt-3.5-turbo to be about 4096. Lastly, we discuss ways that LLM providers can guard against these attacks, as well as how these capabilities can be viewed as a feature (rather than a bug) by allowing for greater transparency and accountability.
• Abstract（参考訳）: 大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 この研究では、モデルアーキテクチャに関する保守的な仮定だけで、比較的少数のAPIクエリ(例えば、OpenAIのgpt-3.5-turboに1000ドル以下)から、APIで保護されたLLMに関する驚くほど多くの非公開情報を学ぶことができることを示しています。 現代のLLMは、モデル出力を全出力空間の線形部分空間に制限するソフトマックスボトルネックに悩まされている。 私たちはこの事実を利用して、安価なフルボキャブラリ出力の取得、特定のタイプのモデル更新の監査、単一のフルLLM出力のソースLLMの特定、さらにはLLMの隠されたサイズを効率的に発見するなど、いくつかの機能をアンロックします。 実験により,OpenAI の gpt-3.5-turbo の埋め込みサイズを約4096。 最後に、LLMプロバイダがこれらの攻撃を防ぎ、透明性と説明責任を高めることで、これらの機能を(バグではなく)機能と見なすことができる方法について論じる。

関連論文リスト

• zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Enhancing Discriminative Tasks by Guiding the Pre-trained Language Model with Large Language Model's Experience [4.814313782484443]
  大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。 我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T06:37:59Z)
• Hide and Seek: Fingerprinting Large Language Models with Evolutionary Learning [0.40964539027092917]
  本稿では,Large Language Model (LLM) モデルの指紋認証のための新しいブラックボックス手法を提案する。 モデルの正しいファミリーを特定する際には, 72%の精度が得られた。 この研究は、LLMの振る舞いを理解するための新しい道を開き、モデル帰属、セキュリティ、そしてAI透明性の幅広い分野に重大な影響を与える。
  論文  参考訳（メタデータ） (2024-08-06T00:13:10Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。