論文の概要: Bounded Behavioral Indistinguishability for Black-Box LLM Distillation
- arxiv url: http://arxiv.org/abs/2605.30448v1
- Date: Thu, 28 May 2026 18:19:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.165268
- Title: Bounded Behavioral Indistinguishability for Black-Box LLM Distillation
- Title（参考訳）: ブラックボックスLCM蒸留における境界挙動の識別性
- Authors: Munawar Hasan,
- Abstract要約: ブラックボックスLPM蒸留は通常、出力マッチング問題として評価される。
有界な振る舞いの不識別性を導入し、明示的な素数分布に対して$(,q,t,mathbbA)$-振る舞い不能性を定式化した。
各家庭で,教師と基礎生とロラ蒸留生を比較し,蒸留が識別性を低下させるかどうかを測定した。
- 参考スコア（独自算出の注目度）: 0.20305676256390928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Black-box LLM distillation is usually evaluated as an output-matching problem: a student is considered successful when its responses are semantically similar to, or task-consistent with, those of a teacher. However, output similarity does not imply that the student is behaviorally indistinguishable from the model it imitates. We introduce bounded behavioral indistinguishability, formalized as $(ε,q,t,\mathbb{A})$-behavioral indistinguishability over an explicit prompt distribution, where $ε$ bounds distinguishing advantage, $q$ bounds oracle queries, $t$ bounds computation, and $\mathbb{A}$ denotes the adversary class. We instantiate this notion on Qwen and Llama teacher-student pairs using a controlled $5,000$-prompt behavioral probe suite. For each family, we compare the teacher with both the base student and the LoRA-distilled student, measuring whether distillation reduces distinguishability rather than merely improving similarity. LoRA raises semantic similarity from $0.788$ to $0.862$ for Qwen and from $0.814$ to $0.874$ for Llama. Yet adversarial evaluation reveals remaining behavioral differences: learned discriminators retain nonzero advantage, and pairwise category analysis shows artifacts concentrated in style/format, robustness, and domain-technical prompts. A pairwise teacher-identification adversary confirms this trend. With a different-family Llama judge and A/B-swap consistency filtering, Qwen distinguishing advantage drops from $0.158$ for the base student to $0.081$ after LoRA distillation. Query-budget experiments show that disagreement-guided acquisition does not consistently outperform stratified random sampling, indicating that coverage and diversity remain strong baselines. Our results show that semantic fidelity is useful but insufficient: black-box LLM distillation requires bounded, adversarial, and category-aware evaluation.
- Abstract（参考訳）: ブラックボックス LLM 蒸留は通常、出力マッチングの問題として評価される: 学生は、その反応が意味的に類似している場合、または、教師のそれと相似している場合、成功と考えられる。
しかし、出力の類似性は、学生が模倣するモデルと行動的に区別できないことを意味するものではない。
ここでは、明示的なプロンプト分布に$(ε,q,t,\mathbb{A})$-behavioral indistinguishabilityを導入し、利点を区別する$ε$bounds、$q$bounds oracle query、$t$ bounds compute、$\mathbb{A}$が敵クラスを表す。
この概念をQwenとLlamaの教師と学生のペアに対して,5,000ドル(約5万5000円)の行動プローブスイートを用いてインスタンス化する。
各家庭で, 蒸留が類似性の向上に留まらず, 区別性を低下させるかどうかを, 基礎生とロラ蒸留生の双方と比較した。
LoRA は Qwen の$0.788$ から $0.862$ に、Llama の $0.814$ から $0.874$ にセマンティック類似性を高める。
学習した差別者は、非ゼロの優位性を維持し、ペアワイズカテゴリ分析は、アーティファクトがスタイル/形式、堅牢性、ドメイン技術的プロンプトに集中していることを示している。
対角的な教師識別敵は、この傾向を裏付ける。
異なる家庭のラマ判事とA/B-スワップの整合性フィルタリングにより、Qwenは、基礎生が0.158ドルから0.081ドルに減る利点を区別する。
クエリ予算実験により、不一致誘導による買収は、階層化されたランダムサンプリングを一貫して上回るものではないことが示され、カバレッジと多様性は強力なベースラインのままである。
ブラックボックスのLCM蒸留には, 境界, 対角, カテゴリー認識による評価が必要である。
関連論文リスト
- Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats [0.01116979912801043]
我々は、GPT-5.2、Grok 4.1、Claude Opus 4.5、DeepSeek-V3.2、Gemini Pro 3、および盲目、解答、偽解、そして模範的な条件下でのヒトマーカーに対する委員会集計を比較した。
n=771ドルのブラインド大学試験の質問に対して、モデルは差別的妥当性の強い分数平均絶対誤差(fMAE)$approx 0.22$を達成する。
$n=55$スクリプト全体において、盲目のAIマーキングは人間のマーキングよりも厳格で可変的であり、差別的妥当性はすでに貧弱である。
論文 参考訳（メタデータ） (2026-03-16T02:09:06Z) - When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning [0.0]
コントラストフォワード(Contrastive Forward-Forward, CFF)学習は、教師付きコントラスト目標に対して、ビジョントランスフォーマーを層別に層状化する。
比較損失における正対辺のマージンは、類似度クランプの飽和により適用される。
対数確率の後にマージンを減じる別の定式化が、平均-上-正の還元の下で勾配ニュートラルであることを証明する。
論文 参考訳（メタデータ） (2026-03-01T07:00:38Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
正対と負対を定義するために「連続的意味的類似性」の概念を導入する。
弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。
我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
論文 参考訳（メタデータ） (2025-05-28T06:50:40Z) - Bounds on Lp errors in density ratio estimation via f-divergence loss functions [0.0]
密度比推定(DRE)は2つの確率分布の関係を捉える手法である。
$f$-divergence損失関数は、$f$-divergenceの変動表現から派生したもので、最先端のパフォーマンスを達成する上では、DREの標準選択となっている。
この研究は、$f$-divergence損失関数を通して$L_p$エラーの上と下の境界を導出することにより、DREに対する新たな理論的洞察を提供する。
論文 参考訳（メタデータ） (2024-10-02T13:05:09Z) - Realizable $H$-Consistent and Bayes-Consistent Loss Functions for Learning to Defer [30.389055604165222]
非増加関数の$Psi$によってパラメータ化され、穏やかな条件下で実現可能な$H$一貫性を確立する。
分類誤差に基づくコスト関数の場合、これらの損失は仮説集合が対称かつ完全であるときに$H$一貫性境界を持つことを示す。
論文 参考訳（メタデータ） (2024-07-18T17:35:03Z) - Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。
適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文 参考訳（メタデータ） (2024-05-24T11:22:19Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Nuances in Margin Conditions Determine Gains in Active Learning [10.409652277630132]
本研究は,アクティブ学習者が受動的学習率を上回ることができるかどうかを,マージンという概念の曖昧なニュアンスによって決定することを示す。
本研究の結果は,非パラメトリック環境での受動率よりも能動率が向上すべきという過去の文献からの通常の直観を否定するものである。
論文 参考訳（メタデータ） (2021-10-16T00:17:39Z) - A Theory-Driven Self-Labeling Refinement Method for Contrastive
Representation Learning [111.05365744744437]
教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。
本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。
この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
論文 参考訳（メタデータ） (2021-06-28T14:24:52Z) - Binary classification with ambiguous training data [69.50862982117127]
教師付き学習では、ドメインの専門家でさえラベル付けが難しい曖昧な(A)サンプルに直面します。
この問題は、ラベルなしサンプルが必ずしも難しいサンプルではないため、半教師付き学習とは大きく異なる。
論文 参考訳（メタデータ） (2020-11-05T00:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。