論文の概要: How to Steal Reasoning Without Reasoning Traces
- arxiv url: http://arxiv.org/abs/2603.07267v1
- Date: Sat, 07 Mar 2026 15:50:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:14.190575
- Title: How to Steal Reasoning Without Reasoning Traces
- Title（参考訳）: 痕跡を残さずにリファクタリングする方法
- Authors: Tingwei Zhang, John X. Morris, Vitaly Shmatikov,
- Abstract要約: 多くの大規模言語モデル(LLM)は、応答を生成するために推論を使用するが、完全な推論トレースは明らかにしない。
対象モデルに露出した要約を入力,回答,(任意に)推論するのみを与えられたトレースインバージョンモデルを導入し,詳細な合成推論トレースを生成する。
- 参考スコア（独自算出の注目度）: 11.96740610715437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many large language models (LLMs) use reasoning to generate responses but do not reveal their full reasoning traces (a.k.a. chains of thought), instead outputting only final answers and brief reasoning summaries. To demonstrate that hiding reasoning traces does not prevent users from "stealing" a model's reasoning capabilities, we introduce trace inversion models that, given only the inputs, answers, and (optionally) reasoning summaries exposed by a target model, generate detailed, synthetic reasoning traces. We show that (1) traces synthesized by trace inversion have high overlap with the ground-truth reasoning traces (when available), and (2) fine-tuning student models on inverted traces substantially improves their reasoning. For example, fine-tuning Qwen-2.5-7B-Instruct on traces inverted from the answers and summaries of GPT-5 mini, a commercial black-box LLM, improves its performance from 56.8% to 77.6% on MATH500 and from 11.7% to 42.3% on JEEBench, compared to fine-tuning on just the answers and summaries.
- Abstract（参考訳）: 多くの大きな言語モデル(LLM)は、推論を使って応答を生成するが、その完全な推論の痕跡(つまり思考の連鎖)を明らかにしず、最終的な答えと短い推論の要約だけを出力する。
隠れ推論トレースは,ユーザがモデルの推論能力を「操る」のを妨げないことを示すために,対象モデルから露出した入力,回答,および(任意に)推論サマリーのみを与えられたトレース逆変換モデルを導入し,詳細な合成推論トレースを生成する。
本研究では,(1) トレースインバージョンによって合成されたトレースが,(利用可能であれば) 地道的推論トレースと重なり合い,(2) 逆トレース上での微調整学生モデルにより,その推論が大幅に改善されることを示す。
例えば、Qwen-2.5-7B-Instruct on traces inverted from the answer and summaries of GPT-5 mini, a commercial black-box LLM, improve its performance to 56.8% to 77.6% on MATH500 and to 11.7% to 42.3% on JEEBench, compared to fine-tuning on the answer and summaries.
関連論文リスト
- Probing the Trajectories of Reasoning Traces in Large Language Models [4.599673637363014]
本研究では,大規模言語モデルにおける推論トレースの軌跡を探索するプロトコルを提案する。
得られた推論トークンの比率が大きくなるにつれて、精度と決定のコミットメントが一貫して増加することが分かっています。
軌道探索が推論モデルのより効率的かつ安全な展開のための診断を提供することを示す。
論文 参考訳（メタデータ） (2026-01-30T16:45:16Z) - Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark [112.46338388724116]
このタスクでは、ターゲットオブジェクトをローカライズするだけでなく、推論パスを形成する中間オブジェクトを明示的に予測する必要がある。
この分野での研究を進めるために,(1)視覚的推論を評価するための人為的注釈付きベンチマークであるVRT-Bench,(2)推論トレースの質を評価するための新しい指標であるVRT-80k,(3)推論モデルトレーニングのための大規模データセットであるVRT-80kが提案されている。
論文 参考訳（メタデータ） (2025-12-04T18:55:34Z) - Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。
Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。
不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
論文 参考訳（メタデータ） (2025-09-27T16:25:06Z) - From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。
デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。
デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文 参考訳（メタデータ） (2025-09-27T08:59:31Z) - FlashThink: An Early Exit Method For Efficient Reasoning [2.1448740411847593]
大規模言語モデル(LLM)は、推論タスクにおいて素晴らしいパフォーマンスを示している。
LLMは、過度に長い推論内容を生成する傾向があり、計算オーバーヘッドが大きくなる。
我々は、モデルが推論を止め、正しい答えを提供することができる正確なタイミングを識別する検証モデルを導入する。
論文 参考訳（メタデータ） (2025-05-20T05:28:21Z) - Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning [84.2749507577386]
MCTSにインスパイアされた検索アルゴリズムであるRetro-Searchを導入し,大規模モデルから高品質な推論経路を抽出する。
Retro-Searchは、より良い、しかし短いトレースを見つけるための推論パスをふりかえりに修正する。
当社のアプローチでは,モデルが独自のRetro-Search-edトレースに基づいて微調整される自己改善と,弱いから強い改善の2つのユースケースを実現しています。
論文 参考訳（メタデータ） (2025-04-06T06:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。