論文の概要: Antidistillation Sampling
- arxiv url: http://arxiv.org/abs/2504.13146v2
- Date: Thu, 24 Apr 2025 18:49:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.580053
- Title: Antidistillation Sampling
- Title（参考訳）: 消毒サンプリング
- Authors: Yash Savani, Asher Trockman, Zhili Feng, Avi Schwarzschild, Alexander Robey, Marc Finzi, J. Zico Kolter,
- Abstract要約: 拡張推論トレースを生成するモデルは、モデル蒸留を容易にするリッチトークンシーケンスを不注意に生成する。
この脆弱性を認識したモデル所有者は、モデル性能を損なうことなく蒸留の有効性を制限するサンプリング戦略を求めることができる。
抗蒸留サンプリングは、モデルの実用性を保ちながら、蒸留に著しく効果の低い推理トレースをレンダリングする。
- 参考スコア（独自算出の注目度）: 98.87756003405627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier models that generate extended reasoning traces inadvertently produce rich token sequences that can facilitate model distillation. Recognizing this vulnerability, model owners may seek sampling strategies that limit the effectiveness of distillation without compromising model performance. Antidistillation sampling provides exactly this capability. By strategically modifying a model's next-token probability distribution, antidistillation sampling poisons reasoning traces, rendering them significantly less effective for distillation while preserving the model's practical utility. For further details, see https://antidistillation.com.
- Abstract（参考訳）: 拡張推論トレースを生成するフロンティアモデルは、モデル蒸留を容易にするリッチトークンシーケンスを不注意に生成する。
この脆弱性を認識したモデル所有者は、モデル性能を損なうことなく蒸留の有効性を制限するサンプリング戦略を求めることができる。
消毒サンプリングは、まさにこの能力を提供する。
モデルの次の確率分布を戦略的に修正することにより、抗蒸留サンプリング毒が痕跡を推論し、モデルの実用性を保ちながら蒸留に効果が著しく低下する。
詳細はhttps://antidistillation.comを参照。
関連論文リスト
- Distilling Diversity and Control in Diffusion Models [27.352868008401614]
蒸留拡散モデルには限界があり、サンプルの多様性は基本モデルと比べて減少する。
この多様性の喪失にもかかわらず、蒸留されたモデルは基本モデルの基本的な概念表現を維持していることを示す。
多様性蒸留は, 基本モデルを, 効率の良い蒸留モデルに移行する前に, 第一臨界段階のみに戦略的に活用するハイブリッド推論手法である。
論文 参考訳（メタデータ） (2025-03-13T17:59:56Z) - Inference-Time Diffusion Model Distillation [59.350789627086456]
本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。
条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。
逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
論文 参考訳（メタデータ） (2024-12-12T02:07:17Z) - Training on the Test Model: Contamination in Ranking Distillation [14.753216172912968]
蒸留における汚染された教師モデルの効果について検討する。
教師のトレーニングサンプルのごく一部を表すテストデータであっても,汚染が生じることが判明した。
論文 参考訳（メタデータ） (2024-11-04T17:11:14Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳（メタデータ） (2024-05-09T17:59:40Z) - Confidence Preservation Property in Knowledge Distillation Abstractions [2.9370710299422598]
ソーシャルメディアプラットフォームは、投稿やコメントの有害な内容を検出することによって悪意ある活動を防ぐ。
感情分析とコンテンツ理解のために、大規模なディープニューラルネットワークモデルを採用している。
BERTのようないくつかのモデルは複雑で、多くのパラメータを持ち、運用やメンテナンスに費用がかかる。
産業専門家は知識蒸留圧縮技術を用いて、蒸留されたモデルを訓練し、元のモデルの分類挙動を再現する。
論文 参考訳（メタデータ） (2024-01-21T01:37:25Z) - Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。
また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。
実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:10:41Z) - Referee: Reference-Free Sentence Summarization with Sharper
Controllability through Symbolic Knowledge Distillation [72.70058049274664]
文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。
我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
論文 参考訳（メタデータ） (2022-10-25T07:07:54Z) - Why distillation helps: a statistical perspective [69.90148901064747]
知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。
この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。
蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
論文 参考訳（メタデータ） (2020-05-21T01:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。