Fugu-MT 論文翻訳(概要): Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility

論文の概要: Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility

arxiv url: http://arxiv.org/abs/2607.20440v1
Date: Tue, 12 May 2026 04:36:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.162305
Title: Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility
Title（参考訳）: Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility
Abstract要約: 蒸留効率を阻害する防御出力を生成するために, 抗蒸留法 (AD) が提案されている。 textbfunderline-textbfunderlineGuided textbfunderlineReasoning textbfunderlineEditing (SGRE)を提案する。回答段階では、教師モデルはまず、元の推論精度を保ったクリーンな推論トレースを生成する。編集段階では,スケルトン抽出,スケルトングラフ粗化,スケルトン音声による3段階戦略を導入する。
参考スコア（独自算出の注目度）: 13.916452483499185
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Proprietary large language models (LLMs) entail substantial intellectual and financial investment, making them valuable intellectual property (IP). However, even when deployed via black-box APIs, these models remain vulnerable to unauthorized knowledge distillation, which allows adversaries to cheaply extract and replicate model capabilities. To address this issue, anti-distillation (AD) has been proposed to generate defensive outputs that hinder distillation effectiveness, overcoming the limitation of watermarking-based approaches that rely on post-hoc verification. However, existing AD methods based on internal model perturbations struggle to balance anti-distillability and utility (e.g., answer accuracy and naturalness) of reasoning traces, with stronger defenses often causing significant utility loss. To fill this gap, we propose \textbf{\underline{S}}keleton-\textbf{\underline{G}}uided \textbf{\underline{R}}easoning \textbf{\underline{E}}diting (SGRE), an \textit{Answer-then-Edit} framework that performs post-hoc trace modification for anti-distillation. In the answer stage, the teacher model first generates clean reasoning traces, preserving the original reasoning accuracy while enabling more flexible control over trace naturalness. In the editing stage, we draw inspiration from Cognitive Load Theory (CLT) and introduce a three-stage strategy consisting of reasoning skeleton extraction, skeleton graph coarsening, and skeleton verbalization. These operations jointly perturb reasoning structures and augment textual complexity to amplify extraneous load on student models, hindering their acquisition of underlying reasoning patterns. Extensive experiments across diverse LLMs demonstrate that SGRE achieves state-of-the-art performance in reducing distillation effectiveness, while maintaining lossless reasoning accuracy and superior trace naturalness.
Abstract（参考訳）: プロプライエタリな大規模言語モデル(LLM)は、相当な知的および財政的な投資を伴い、価値ある知的財産(IP)となる。しかしながら、ブラックボックスAPIを通じてデプロイしても、これらのモデルは無許可の知識蒸留に弱いままであり、敵が安価にモデル機能を抽出し複製することができる。この問題に対処するために、蒸留効率を阻害する防御出力を生成するために、ポストホック検証に依存する透かしに基づくアプローチの制限を克服するために、抗蒸留(AD)が提案されている。しかし、内部モデル摂動に基づく既存のAD法は、推理トレースの抗蒸留性と実用性(例えば、解答精度と自然性)のバランスをとるのに苦労しており、より強力な防御がしばしば有効性を失う。このギャップを埋めるために、抗蒸留のためのポストホックなトレース修正を行うtextbf{\underline{S}}keleton-\textbf{\underline{G}}uided \textbf{\underline{R}}easoning \textbf{\underline{E}}diting (SGRE), an \textit{Answer-then-Edit} frameworkを提案する。回答段階では、教師モデルはまずクリーンな推論トレースを生成し、元の推論精度を保ちながら、トレース自然性に対するより柔軟な制御を可能にする。編集段階では,認知負荷理論(CLT)からインスピレーションを得て,スケルトン抽出,スケルトングラフ粗化,スケルトン動詞化という3段階の戦略を導入する。これらの操作は、共謀推論構造と、学生モデルにおける余剰負荷を増幅するためにテキストの複雑さを増大させ、基礎となる推論パターンの獲得を妨げる。種々のLLMの広範囲にわたる実験により,SGREは蒸留効率を低下させるとともに,損失のない推理精度と優れた微量天然度を維持しながら,最先端の性能を実現していることが示された。

関連論文リスト

Robust Reasoning via Dynamic Token Selection for Distribution-Aligned Self-Distillation [10.71966126081564]
自己蒸留は、モデル自身の分布によくマッチするトレーニングデータとして参照回答を書き換えることで、学習効率を向上させる。しかし、参照された答えはまた、強いスタイル的バイアスをもたらし、生成モデルは有用な推論パターンを学ぶのではなく、表面の形状を模倣する。本稿では,DASD(Distributed-Aligned Self-Distillation)を提案する。これは,応答認識参照モデルを用いて候補トークンを生成し,ベースモデルの信頼性に応じて動的にフィルタする。
論文参考訳（メタデータ） (2026-05-30T09:03:03Z)
Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective [52.25797439810419]
既存の防衛はテキストベースの蒸留のみに重点を置いており、重要なロジットベースの蒸留はほとんど探索されていない。我々は,教師のロジットと接地木ラベルに条件付けされた入力クエリ間の条件付き相互情報(CMI)を用いて,教師出力の蒸留関連情報を特徴付ける。我々は,CMIにインスパイアされた抗蒸留目標を導出し,この変換を最適化し,出力ユーティリティを保ちながら蒸留関連情報を効果的に除去する。
論文参考訳（メタデータ） (2026-02-03T11:16:59Z)
ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
明示的な推論連鎖は、かなりの計算冗長性をもたらす。近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
論文参考訳（メタデータ） (2026-01-30T17:08:06Z)
Copyright Laundering Through the AI Ouroboros: Adapting the 'Fruit of the Poisonous Tree' Doctrine to Recursive AI Training [0.31061678033205636]
著作権の執行は明白な取引にかかっている。マルチ世代パイプラインを通じてAIシステムがトレーニングされる場合、それは緊張する。本条では,AI-FOPT標準を提案するために「有毒樹の果実(FOPT)」の原則を適用している。
論文参考訳（メタデータ） (2026-01-06T01:02:50Z)
Information-Preserving Reformulation of Reasoning Traces for Antidistillation [80.99448418790125]
本稿では, 推理トレースの消毒対策に関する情報保存手法を提案する。この修正を行うために、小さな補助モデルが訓練され、最小の計算オーバーヘッドが生じる。実験では、一部が、異なるサイズとタイプを持つ学生モデルの蒸留を一貫して破壊することを示した。
論文参考訳（メタデータ） (2025-10-13T15:42:11Z)
KaVa: Latent Reasoning via Compressed KV-Cache Distillation [8.058130367727005]
KaVaは、教師の圧縮されたKVキャッシュから自己蒸留によって潜在学生に知識を直接蒸留するフレームワークである。直接トークン対応に欠ける圧縮KV-cache内の抽象的・非構造的知識は、潜伏した推論学生にとって豊かな監督信号として機能することを示す。
論文参考訳（メタデータ） (2025-10-02T17:59:51Z)
AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文参考訳（メタデータ） (2025-09-29T04:27:23Z)
ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文参考訳（メタデータ） (2025-06-23T16:20:44Z)
DOGe: Defensive Output Generation for LLM Protection Against Knowledge Distillation [49.58082402742583]
LLM(Large Language Models)は、大きな知的・経済的投資である。 LLMは知識蒸留(KD)によるモデル模倣を不注意に促進できる本稿では,効果的なDefensive Output Generation(DOGe)戦略を提案する。
論文参考訳（メタデータ） (2025-05-26T04:31:38Z)
Towards Understanding the Robustness of Diffusion-Based Purification: A Stochastic Perspective [65.10019978876863]
拡散性浄化(DBP)は、敵の攻撃に対する効果的な防御機構として出現している。本稿では,DBPプロセスの本質性がロバスト性を駆動する主要な要因であることを示す。
論文参考訳（メタデータ） (2024-04-22T16:10:38Z)
Confidence Preservation Property in Knowledge Distillation Abstractions [2.9370710299422598]
ソーシャルメディアプラットフォームは、投稿やコメントの有害な内容を検出することによって悪意ある活動を防ぐ。感情分析とコンテンツ理解のために、大規模なディープニューラルネットワークモデルを採用している。 BERTのようないくつかのモデルは複雑で、多くのパラメータを持ち、運用やメンテナンスに費用がかかる。産業専門家は知識蒸留圧縮技術を用いて、蒸留されたモデルを訓練し、元のモデルの分類挙動を再現する。
論文参考訳（メタデータ） (2024-01-21T01:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。