論文の概要: Information-Preserving Reformulation of Reasoning Traces for Antidistillation

• arxiv url: http://arxiv.org/abs/2510.11545v1
• Date: Mon, 13 Oct 2025 15:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.438792
• Title: Information-Preserving Reformulation of Reasoning Traces for Antidistillation
• Title（参考訳）: 防汚用レアソントレーの情報保存による改質
• Authors: Jiayu Ding, Lei Cui, Li Dong, Nanning Zheng, Furu Wei,
• Abstract要約: 本稿では, 推理トレースの消毒対策に関する情報保存手法を提案する。 この修正を行うために、小さな補助モデルが訓練され、最小の計算オーバーヘッドが生じる。 実験では、一部が、異なるサイズとタイプを持つ学生モデルの蒸留を一貫して破壊することを示した。
• 参考スコア（独自算出の注目度）: 80.99448418790125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) show that extending the length of reasoning chains significantly improves performance on complex tasks. While revealing these reasoning traces helps users better follow, verify, and learn from the model's problem-solving process, it also makes them highly vulnerable to unauthorized distillation. To mitigate this risk, proprietary model providers often adopt aggressive protection strategies, such as replacing detailed reasoning with brief summaries, which deprive users of valuable intermediate information. To address this trade-off, we propose PART, an information-preserving antidistillation reformulation of reasoning traces. Motivated by the difference between how humans understand reasoning traces and how LLMs exploit them for supervised fine-tuning, we design a simple but effective two-step reformulation: removing self-talk behaviors and reordering sub-conclusions. A small auxiliary model is trained to perform this reformulation, incurring minimal computational overhead. Extensive experiments demonstrate that PART consistently disrupts distillation across student models of different sizes and types on various reasoning benchmarks. For instance, when training on reformulated traces, even the performance of a large 32B student model decreases from 54.17 to 46.88 on AIME 2024, corresponding to a 13.5% degradation.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、推論チェーンの長さを延ばすことで、複雑なタスクのパフォーマンスが大幅に向上していることを示している。 これらの推論トレースを明らかにすることで、モデルの問題解決プロセスの追跡、検証、学習が容易になる一方で、無許可蒸留に対して非常に脆弱になる。 このリスクを軽減するため、プロプライエタリなモデルプロバイダは、詳細な推論を簡単な要約に置き換えるなど、積極的な保護戦略を採用することが多い。 このトレードオフに対処するため,情報保存型抗蒸留改質法であるPartを提案する。 推論の痕跡を人間がどのように理解するかと、LLMがそれらを教師付き微調整にどのように活用するかの違いに触発されて、我々は単純だが効果的な2段階の修正を設計した。 この修正を行うために、小さな補助モデルが訓練され、最小の計算オーバーヘッドが生じる。 広範囲な実験により、様々な推論ベンチマークで異なるサイズとタイプを持つ学生モデルの蒸留が一貫して破壊されることが示されている。 例えば、改革されたトレースのトレーニングでは、大規模な32B学生モデルのパフォーマンスも、AIME 2024で54.17から46.88に低下し、13.5%の劣化に対応する。

関連論文リスト

• Large Reasoning Models are not thinking straight: on the unreliability of thinking trajectories [0.0]
  強化学習(RL)を通じてトレーニングされたLarge Language Models(LLMs)は、最近、推論ベンチマークで印象的な結果を得た。 しかし、成長する証拠は、これらのモデルがしばしば長いが効果のない思考の連鎖(CoT)を生成することを示している。 モデルが明示的に提供しても正しい解を無視し、代わりに不要な推論ステップを生成し続けるという、過度な考えの新たな証拠を提示する。
  論文  参考訳（メタデータ） (2025-07-01T12:14:22Z)
• Reasoning Model Unlearning: Forgetting Traces, Not Just Answers, While Preserving Reasoning Skills [42.1825027925353]
  大きな推論モデル(LRM)は、テスト時間計算を通じて強力なチェーン・オブ・シント(CoT)生成を可能にした。 従来の未学習アルゴリズムは、もともと非推論モデル用に設計されていたが、LRMには不適当であることを示す。 本稿では,意味のある推論トレースを効果的に抑制する新しい手法であるReasoning-aware Representation Misdirection for Unlearning(R2MU$)を提案する。
  論文  参考訳（メタデータ） (2025-06-15T20:54:23Z)
• CoThink: Token-Efficient Reasoning via Instruct Models Guiding Reasoning Models [56.40065909544213]
  大規模言語モデル(LLM)は、テスト時間スケーリングとして知られる、テスト時間計算の増加の恩恵を受ける。 しかし、推論最適化モデルはしばしば単純な問題さえ考え過ぎ、過度に冗長な出力を生成し、トークン効率を低下させる。 1)強化学習は前方推論の情報密度を減少させ,(2)後方連鎖学習は冗長でしばしば不要な検証ステップを促進する。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Efficient RL Training for Reasoning Models via Length-Aware Optimization [104.97188611117353]
  大規模推論モデルの強化学習プロセスに直接統合された3つの重要な報酬設計を提案する。 本手法は, 性能を維持・改善しながら, 応答長を著しく低減する。
  論文  参考訳（メタデータ） (2025-05-18T07:46:43Z)
• Think Deep, Think Fast: Investigating Efficiency of Verifier-free Inference-time-scaling Methods [39.89239733570008]
  本研究は推論モデルと非推論モデルの両方に対する推論時間スケーリング手法を包括的に解析する。 非推論モデルは、非常に高い推論予算にもかかわらず、推論モデルに大きく遅れていることが分かっています。 推論モデルでは、多数決は堅牢な推論戦略であり、一般的に競争力があるか、あるいは他のより洗練されたITC手法よりも優れていることが証明されている。
  論文  参考訳（メタデータ） (2025-04-18T19:32:55Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
  本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。 我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。 オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T23:50:46Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。