論文の概要: Black-Box Inference of LLM Architectural Properties with Restrictive API Access
- arxiv url: http://arxiv.org/abs/2607.01313v1
- Date: Wed, 01 Jul 2026 17:53:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.542345
- Title: Black-Box Inference of LLM Architectural Properties with Restrictive API Access
- Title（参考訳）: 制限APIアクセスを用いたLCMアーキテクチャ特性のブラックボックス推論
- Abstract要約: 現在の制限付きAPIの下でも、いくつかのアーキテクチャパラメータが回復可能であることが示されています。
我々は,制限付きブラックボックスAPIアクセスを用いて,LLMの隠れ次元,深さ,パラメータ数を推定するNightVisionを提案する。
- 参考スコア（独自算出の注目度）: 22.72839046819223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In practice, most commercial LLM providers do not publicly release details of underlying LLM architectures. However, prior work has shown that given limited API access to an LLM (namely, top-$k$ logits and/or a logit bias function), one can recover certain architectural details of an LLM, such as the hidden dimension of the feed-forward network. Perhaps in response to these results, most commercial LLM providers have restricted their APIs to expose only the single logit for each decoded token, and they no longer give users the ability to bias logits. We show that even under current restrictive APIs, several architectural parameters are still recoverable. We present NightVision, an attack that uses restrictive black-box API access to estimate the hidden dimension, depth, and parameter count of an LLM. Algorithmically, NightVision relies on a novel common set prompting technique in which multiple prompts expose log probabilities for the same set of output tokens; a spectral analysis of these results is used to infer hidden dimension. NightVision additionally uses end-to-end time to first token (TTFT) measurements and the estimated hidden dimension to estimate depth and parameter count. We empirically evaluate NightVision on 32 open-source LLMs, recovering hidden dimension to within 23% average relative error across all models (9% on MoE models), and depth and parameter count to within 53% for models exceeding three billion parameters. We run extensive ablations to demonstrate how these accuracies scale with token budget and model properties. Overall, our results suggest that current LLM APIs are not sufficiently restricted to fully obfuscate the architectural details of their underlying models.
- Abstract（参考訳）: 実際には、ほとんどの商用LLMプロバイダは、基盤となるLLMアーキテクチャの詳細を公開していない。
しかし、以前の研究によると、LLMへの限られたAPIアクセス(つまり、トップ$のロジットと/またはロジットバイアス関数)が与えられた場合、フィードフォワードネットワークの隠された次元のような、LLMのアーキテクチャ上の詳細を回復できる。
これらの結果に対する反応として、ほとんどの商用LLMプロバイダは、デコードされたトークンごとに単一のロジットのみを公開するようにAPIを制限している。
現在の制限付きAPIの下でも、いくつかのアーキテクチャパラメータが回復可能であることが示されています。
我々は,制限付きブラックボックスAPIアクセスを用いて,LLMの隠れ次元,深さ,パラメータ数を推定するNightVisionを提案する。
アルゴリズム的には、NightVisionは複数のプロンプトが同じ出力トークンの集合に対してログ確率を公開する新しい共通セットプロンプト技術に依存している。
NightVisionはまた、第1トークン(TTFT)測定と推定された隠れ次元を使って深さとパラメータ数を推定する。
実験により,32個のオープンソースLCM上でNightVisionを評価し,全モデルの平均相対誤差を23%以内(MoEモデルでは9%)、深さとパラメータは30億以上のモデルでは53%以内と推定した。
トークンの予算とモデルプロパティで、これらの精度がどのようにスケールするかを示すために、広範囲のアブリケーションを実行します。
全体として、我々の結果は、現在のLLM APIは、基盤となるモデルのアーキテクチャの詳細を完全に難読化するために十分に制限されていないことを示唆している。
関連論文リスト
- LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior [53.63441578662801]
インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。
我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。
検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
論文 参考訳（メタデータ） (2026-07-21T17:11:02Z) - Can We Trust a Black-box LLM? LLM Untrustworthy Boundary Detection via Bias-Diffusion and Multi-Agent Reinforcement Learning [22.559085865596728]
大きな言語モデル(LLM)は、さまざまなトピックに関する質問に答える能力が高いことを示している。
LLMはバイアスのある、イデオロギー化された、あるいは誤ったレスポンスを生成し、どのトピックが信頼できるかを明確に理解していない場合、アプリケーションを制限する。
本稿では,GMRL-BDと命名された新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-04-07T06:24:01Z) - Real-Time Trustworthiness Scoring for LLM Structured Outputs and Data Extraction [4.66261113599649]
構造化出力の信頼性をリアルタイムに評価する手法を提案する。
また、ミスに満ちていない信頼性の高い基底真理値を持つ最初の公開ベンチマークの1つを提示する。
論文 参考訳（メタデータ） (2026-02-24T09:17:57Z) - Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts [21.081815261690444]
大規模言語モデル(LLM)は、しばしば幻覚を生じさせ、現実の知識に根ざしていない事実的誤りのテキストを生成する。
これは、医療、金融、顧客サポートといった分野に深刻なリスクをもたらす。
外部知識ベースを活用できない効率的な検出手法であるCONFACTCHECKを紹介する。
論文 参考訳（メタデータ） (2025-11-15T14:33:02Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳（メタデータ） (2025-02-21T02:03:08Z) - Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。
推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。
高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
論文 参考訳（メタデータ） (2024-11-05T18:54:21Z) - Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly [6.685692482347038]
大規模言語モデル(LLM)は、長い逐次入力の解釈と解析において顕著な能力を示した。
本稿では,長い入力シーケンスを扱う場合,LLMが短くなるという,驚くべき制限を明らかにする。
本稿では,LLMの性能を最大50%向上させるアドホックな手法を提案し,評価する。
論文 参考訳（メタデータ） (2024-08-03T21:31:34Z) - An empirical study of LLaMA3 quantization: from LLMs to MLLMs [54.91212829143966]
LLaMAファミリーは、最も強力なオープンソースの大規模言語モデル(LLM)の1つである。
LLaMA3モデルは、15T以上のデータに対する超大規模事前トレーニングによって、様々な領域で優れたパフォーマンスを実現している。
我々は,LLaMA3の1-8ビットおよび様々なデータセット上で,LLaMA3の学習後量子化とLoRA微調整(LoRA-FT)の10種類の既存手法を評価し,LLaMA3の低ビット量子化性能を明らかにする。
論文 参考訳（メタデータ） (2024-04-22T10:03:03Z) - Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。
Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。
Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
論文 参考訳（メタデータ） (2024-04-09T17:30:48Z) - Logits of API-Protected LLMs Leak Proprietary Information [46.014638838911566]
大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。
比較的少数のAPIクエリから,APIで保護されたLLMに関する驚くほど多くの非公開情報を学習することが可能であることを示す。
論文 参考訳（メタデータ） (2024-03-14T16:27:49Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。