Fugu-MT 論文翻訳(概要): Lossless Anti-Distillation Sampling

論文の概要: Lossless Anti-Distillation Sampling

arxiv url: http://arxiv.org/abs/2605.18829v1
Date: Tue, 12 May 2026 21:34:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-20 21:37:32.365657
Title: Lossless Anti-Distillation Sampling
Title（参考訳）: ロスレス消毒サンプリング
Authors: Zibo Diao, Jingchu Gai, Xinyue Ai, Zhang Zhang, Zhenyu He, Di He,
Abstract要約: Lossless Anti-Distillation Smpling (LADS) はマルチアカウント蒸留に対抗するために設計された新しいサンプリング方式である。 LADSは、クエリのセマンティック内容によって決定されるプライベートシードから、各世代の基礎となるランダム性を導出する。画像生成、数学的推論、コード生成の実験により、LADSは蒸留された学生のパフォーマンスを著しく低下させることを確認した。
参考スコア（独自算出の注目度）: 9.264957360246722
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Frontier commercial generative models face a growing threat from distillation, whereby a distiller harvests generated responses and trains a competing model of its own at drastically lower cost. Existing defenses either rely on modifying the models outputs, thereby sacrificing response quality for benign users, or on behavioral detection methods, which can be readily circumvented by distributing queries across multiple accounts. In this work, we propose Lossless Anti-Distillation Sampling (LADS), a novel sampling scheme specifically designed to counter multi-account distillation while maintaining a lossless experience for benign users. Concretely, LADS derives the randomness underlying each generation from a private seed determined by the semantic content of the query and the number of times the user has queried the model. By construction, every benign user receives a response independently sampled from the original model at each visit, and thus experiences no distortion. In contrast, for a distiller, different accounts share latent randomness whenever their queries fall in the same semantic bucket. As a result, the harvested data becomes correlated, potentially reducing sample diversity and degrading generalization. Using uniform convergence theory, we show that LADS provably degrades the convergence rate of the distillers generalization gap relative to standard i.i.d. sampling in both unconditional and conditional generation settings. Experiments on image generation, mathematical reasoning, and code generation confirm that LADS substantially degrades the performance of distilled students while preserving exact statistical fidelity for individual users.
Abstract（参考訳）: 最前線の商業生産モデルは蒸留による脅威の増大に直面しており、蒸留機は生成した反応を収穫し、その競合するモデルを劇的に低コストで訓練する。既存の防御は、モデルの出力を変更することに依存するため、良質なユーザに対する応答品質を犠牲にするか、複数のアカウントにクエリを分散することで容易に回避できる行動検出方法に依存する。本研究では,多価蒸留に対処する新しいサンプリング手法であるロスレスアンチ蒸留サンプリング(LADS)を提案する。具体的には、LADSは、クエリのセマンティックな内容とユーザがモデルをクエリした回数によって決定されたプライベートシードから、各世代の基礎となるランダム性を導出する。構成により、各良性ユーザは、訪問毎に元のモデルから独立してサンプリングされた応答を受け取り、歪みを経験しない。対照的に、蒸留器の場合、クエリが同じセマンティックバケットに落ちると、異なるアカウントが遅延ランダムを共有する。その結果、採取したデータは相関関係となり、サンプルの多様性が低下し、一般化が低下する可能性がある。均一収束理論を用いて, LADSは, 非条件および条件生成条件の双方において, 標準値であるサンプリング値と比較して, 蒸留器一般化ギャップの収束率を良好に低下させることを示した。画像生成、数学的推論、コード生成の実験により、LADSは個々の利用者の正確な統計的忠実さを維持しながら、蒸留された学生のパフォーマンスを著しく低下させることを確認した。

関連論文リスト

Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文参考訳（メタデータ） (2026-02-26T00:47:51Z)
Combating Noisy Labels through Fostering Self- and Neighbor-Consistency [120.4394402099635]
ラベルノイズは様々な現実世界のシナリオで広まり、教師付きディープラーニングの課題を提起する。我々は、Jo-SNC(textbfSelf- と textbfNeighbor-textbfConsistency に基づくサンプル選択とモデル正規化)というノイズロバスト手法を提案する。我々は、クラスごとの選択閾値を調整するための自己適応型データ駆動しきい値設定方式を設計する。
論文参考訳（メタデータ） (2026-01-19T07:55:29Z)
Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
論文参考訳（メタデータ） (2025-06-11T17:59:58Z)
Detecting Stealthy Backdoor Samples based on Intra-class Distance for Large Language Models [12.519879298717104]
本稿では,参照フィルタとTfidf-Clustering機構に基づく,ステルスなバックドアサンプル検出手法を提案する。 2つの機械翻訳データセットと1つのQAデータセットの実験では、RFTCがバックドア検出とモデルパフォーマンスでベースラインを上回っていることが示されている。
論文参考訳（メタデータ） (2025-05-29T02:49:29Z)
Bayesian Self-Supervised Contrastive Learning [16.903874675729952]
本稿では,BCL損失と呼ばれる新たな自己監督型コントラスト損失を提案する。鍵となる考え方は、ベイズフレームワークの下で真の正のサンプルをサンプリングするために望ましいサンプリング分布を設計することである。実験はBCL損失の有効性と優越性を検証した。
論文参考訳（メタデータ） (2023-01-27T12:13:06Z)
Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。この問題を緩和するための一般的な2段階戦略を提案する。
論文参考訳（メタデータ） (2022-12-05T08:09:33Z)
Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文参考訳（メタデータ） (2021-12-16T11:27:48Z)
Detecting Label Noise via Leave-One-Out Cross Validation [0.0]
クリーンなサンプルと破損したサンプルの混合から実値のノイズラベルを同定し,修正するための簡単なアルゴリズムを提案する。独立分散を伴う付加的なガウス雑音項をそれぞれと観測されたラベルに関連付けるヘテロ代用ノイズモデルを用いる。提案手法は, 合成および実世界の科学データを用いた学習において, 劣化したサンプルを特定でき, より良い回帰モデルが得られることを示す。
論文参考訳（メタデータ） (2021-03-21T10:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。