論文の概要: Identified-Set Geometry of Distributional Model Extraction under Top-$K$ Censored API Access

• arxiv url: http://arxiv.org/abs/2605.10407v1
• Date: Mon, 11 May 2026 11:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.780151
• Title: Identified-Set Geometry of Distributional Model Extraction under Top-$K$ Censored API Access
• Title（参考訳）: Top-K$Censored APIアクセスによる分布モデル抽出の同定・セット幾何
• Authors: Wenhua Nie, ZiCheng Zhu, Jianan Wu, Binhan Luo, Haoran Zheng, Jyh-Shing Roger Jang,
• Abstract要約: 本稿では,このアクセスモデルの分布分布-回復限界について検討する。 しきい値$を検閲するために、互換の教師分布は、正確に$U_K=(V-K)exp()/(Z_A+(V-K)exp())$である識別セットを形成する。 Qwen3の数学推論教師の実験では、階層化された抽出階層が明らかになった。
• 参考スコア（独自算出の注目度）: 15.069874589223446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern LLM APIs often reveal only top-$K$ logit scores and censor the remaining vocabulary. We study the per-position distribution-recovery limits of this access model. For censoring threshold $τ$, the compatible teacher distributions form an identified set whose total-variation diameter is exactly $U_K=(V-K)\exp(τ)/(Z_A+(V-K)\exp(τ))$, where $Z_A$ is the observed partition function. For KL recovery, we give a computable binary-endpoint lower bound and an asymptotically matching small-ambiguity upper bound, with an extension to reference-aware attackers. Experiments on a Qwen3 math-reasoning teacher reveal a layered extraction hierarchy: on-task top-$K$ distillation recovers 12% of private capability, full-logit distillation recovers 56% despite 99% KL closure, and generation-based extraction recovers 96%. Top-$K$ censoring therefore limits per-position distribution recovery but does not by itself prevent capability extraction, separating fidelity from transfer in prompt-only logit distillation.
• Abstract（参考訳）: 現代のLLM APIは、しばしば上位$Kのロジットスコアのみを明らかにし、残りの語彙を検閲する。 本稿では,このアクセスモデルの分布分布-回復限界について検討する。 閾値$τ$を検閲するために、互換性のある教師分布は、正確に$U_K=(V-K)\exp(τ)/(Z_A+(V-K)\exp(τ))$と同定された集合を形成し、$Z_A$は観測分割関数である。 KL回復のためには、計算可能なバイナリ・エンドポイント下限と漸近的に一致する小さなあいまいさの上限を、参照対応攻撃者の拡張として与える。 Qwen3の数学推論教師の実験では、階層化された抽出階層が明らかにされている: on-task top-K$蒸留はプライベート能力の12%を回復し、フルログ蒸留は99%のKL閉鎖にもかかわらず56%を回復し、ジェネレーションベースの抽出は96%を回復する。 したがって、Top-K$検閲は、配置ごとの分布回復を制限するが、それ自体は能力の抽出を防ぎ、即時のみのロジット蒸留における転送から忠実さを分離しない。

関連論文リスト

• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• A Closed-Form Persistence-Landmark Pipeline for Certified Point-Cloud and Graph Classification [0.0]
  PLACE(Persistence-Landmark Analytic Classification Engine)は、点雲とグラフを分類するためのクローズドフォームパイプラインである。 3つの量的保証 -- マージンベースの過剰リスク率、クローズドフォーム記述子選択ルール、プレディションごとの証明書 -- は、トレーニングラベルのみから導かれる。
  論文  参考訳（メタデータ） (2026-05-04T17:15:01Z)
• Binary Rewards and Reinforcement Learning: Fundamental Challenges [7.106986689736826]
  RLVRによる強化学習は、言語モデルにおける推論を改善するための標準的なアプローチとなっている。 二項報酬の性質を基礎としたこの現象の構造的説明を提供する。
  論文  参考訳（メタデータ） (2026-05-04T09:17:26Z)
• Beyond Indistinguishability: Measuring Extraction Risk in LLM APIs [12.914333266854102]
  LLM APIにおけるデータ抽出の防止には,識別不可能性が十分でなく,必要もないことを示す。 我々は、抽出と識別不可能性に基づくプライバシ間のプライバシゲーム分離を形式化する。 モデルトレーニング、APIアクセス、デコード構成を横断する実行可能な緩和ガイドラインを提供します。
  論文  参考訳（メタデータ） (2026-04-20T18:00:22Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Don't Eliminate Cut: Exponential Separations in LLM-Based Theorem Proving [8.948475969696075]
  対話型証明アシスタント(リーンなど)で証明されるLLM誘導形式定理の理論解析を開発する。 現代の表現学習を捉えるために、状態空間と作用空間を一般コンパクトな計量空間として扱い、リプシッツのポリシーを仮定する。 我々の主分離結果は、切断除去が深さ$D$のDAGをサイズ$(D)$のカットフリーツリーに拡張する一方、カットアウェア階層プロセスはサイズ$O(D)$ with $ll$を持つ場合、フラットラーナは、カットアウェア階層学習者よりも指数関数的に多くのデータを必要とすることを示す。
  論文  参考訳（メタデータ） (2026-02-11T04:24:09Z)
• Phase Transition for Stochastic Block Model with more than $\sqrt{n}$ Communities [51.320599504997745]
  統計物理学からの予測では、ブロックモデル(SBM)におけるコミュニティの回復は、上述の時間で可能であり、上述のケステンスティグム(KS)しきい値のみである。 Chinら(2025)は、最近、スパース体制では、非バックトラック経路を数えることにより、KS閾値以下でコミュニティの回復が可能であることを証明した。
  論文  参考訳（メタデータ） (2025-09-19T09:53:56Z)
• Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
  我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。 我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。 次に,新しい2段階クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T05:10:40Z)
• Achieving Constant Regret in Linear Markov Decision Processes [57.34287648914407]
  我々は不特定線形マルコフ決定過程(MDP)に対するアルゴリズムCert-LSVI-UCBを導入する。 Cert-LSVI-UCB は $tildemathcalO(d3H5/Delta)$ の累積後悔を高い確率で示し、不特定度 $zeta$ が $tildemathcalO(Delta / (sqrtdH2))$ 以下であることを示す。
  論文  参考訳（メタデータ） (2024-04-16T17:23:19Z)
• Bridging Distributional and Risk-sensitive Reinforcement Learning with Provable Regret Bounds [24.571530193140916]
  エントロピーリスク尺度(EntRM)が目的である有限エピソードマルコフ決定過程を考察する。 モデルフリーとモデルベースを含む2つの異なるスキームを用いて最適化を実装する2つの新しいDRLアルゴリズムを提案する。 いずれも$tildemathcalO(fracexp(|beta|H)-1|beta|HsqrtS2AK)$ regret upper bound, where $S$, $A$, $K$, $H$は数値を表す。
  論文  参考訳（メタデータ） (2022-10-25T14:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。