論文の概要: Where Do Distilled Students Store Thinking?

• arxiv url: http://arxiv.org/abs/2611.04141v1
• Date: Tue, 03 Nov 2026 01:33:12 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:31:27.75584
• Title: Where Do Distilled Students Store Thinking?
• Title（参考訳）: 蒸留所の学生はどこで考えるのか?
• Abstract要約: 教師が考えるのをやめたとき、学生の体重はどうなるか尋ねる。 それぞれのペアにおいて、アダプタの更新サブスペースは、教師が考えるのをやめるほとんどの場所でシフトする。 我々は、思考のような振る舞いに結びついた共有アダプタ部分空間を同定する。
• 参考スコア（独自算出の注目度）: 2.3925780651557886
• License:
• Abstract: Small students degrade on large reasoning models' (LRMs') long solutions, so recent work shortens them by interpolating an LRM with a short-answer model at ratio $λ$. We ask what student weights retain when this teacher stops thinking, comparing LoRA adapters of three students from three teacher pairs at each $λ$. In each pair, the adapters' update subspace shifts most where the teacher stops thinking and solutions shorten most, locating the change without attributing it. We identify a shared adapter subspace tied to thinking-like behavior (reflective markers, monologue format and long solutions). Shared by adapters before that point, it keeps about half (post hoc) while one pair's teacher halves its solutions but keeps its think tag, and largely empties after thinking stops. Removing it largely turns this behavior off for every pair, student and benchmark. Only in that pair and one other student does it leave clearly fewer markers than removing the update's top components; elsewhere, same-energy random directions often nearly match it. Grafted into a short-answer student at twice its weight, it turns early markers (a post hoc count) on, like the whole update, but the student rarely finishes. Our work identifies a weight subspace tied to distilled thinking-like behavior.
• Abstract（参考訳）: 小規模な学生は、大きな推論モデル(LRM)の長い解で分解するので、最近の研究は、LRMと短解モデルとの補間を比λ$で補間することで、それらを短縮する。 この教師が3人の教師ペアから3人の生徒のLoRAアダプタをそれぞれλ$で比較して考えるのをやめたとき、学生の重みはどうなるのかを問う。 それぞれのペアにおいて、アダプタの更新サブスペースは、教師が考えるのをやめ、ソリューションが一番短くなるところをほとんどシフトし、変更を帰結させることなく位置付けする。 我々は,思考的行動(反射マーカー,モノローグ形式,ロングソリューション)に結びついた共有アダプタ部分空間を同定する。 その時点でアダプタによって共有され、約半分(ホック後)を保ち、一方のペアの教師はソリューションを半減するが、思考タグは保持し、思考が止まった後にほとんど空になる。 取り除くことで、すべてのペア、学生、ベンチマークでこの動作がオフになります。 そのペアと1人の学生だけが、アップデートの上位コンポーネントを取り除くよりも明らかに少ないマーカーを残します。 体重の2倍の短解答学生に移植すると、アップデート全体と同じように初期マーカー(ポストホックカウント)がオンになるが、学生はめったに終了しない。 我々の研究は、蒸留された思考のような振る舞いに結びついた重み部分空間を特定する。

関連論文リスト

• Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation [79.69506233995021]
  学生予科教員適応(SPTA)は、蒸留中に質問される州に教師を適応させる。 数式推論ベンチマーク実験により,タスクレベルRLVR適応教師による標準PDとOPDよりもSPTAの方が平均的な学生成績を向上させることが示された。
  論文  参考訳（メタデータ） (2026-11-02T13:45:23Z)
• ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation [49.1911535337669]
  オンライン蒸留(OPD)は、教師からのトークンレベルのフィードバックを使って生徒に独自の反応を訓練する。 そこで本稿では, 教師指導を改善するために, オンライン蒸留(ATI-OPD)のテキストbf教師介入を提案する。
  論文  参考訳（メタデータ） (2026-10-28T02:00:26Z)
• Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts [14.488126475122305]
  マルチテラーオンライン蒸留(MOPD)は2つの設定で用いられる。 共通ドメイン構成では、複数の教師が1つのプロンプトドメインから各学生のロールアウトをスコアし、その信号は1つのターゲットを形成する。 ルートドドメイン蒸留では、異なるドメインからのプロンプトが対応するスペシャリストに割り当てられる。
  論文  参考訳（メタデータ） (2026-10-07T17:27:46Z)
• Solving Without Stopping: On-Policy Distillation at Small Scale [16.57439856818623]
  学生がより強い教師のフィードバックから自分自身のアウトプットから学び、小さなスケールで伝達するオンライン蒸留の分析を行う。 蒸留は第1に転送されるが、思考モードでは第2に転送されない。 解決は、最大2つの天井まで、あらゆるサイズで改善されます。
  論文  参考訳（メタデータ） (2026-09-29T12:01:43Z)
• Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation [52.54764167264494]
  マルチティーチンガー・オン・ポリシー蒸留は、専門家が1人の生徒に教えることを可能にする。 生徒は各プロンプトに答え、そのプロンプトのドメインの専門家は各トークンにフィードバックを与える。 このルーティングは、どのスペシャリストが教えるかを決定するが、そのフィードバックが共有学生をどれほど強く動かすかは決定しない。 そこで本研究では,各領域のフィードバックを各領域に分散させて再スケールするMOPDを提案する。
  論文  参考訳（メタデータ） (2026-09-28T15:01:25Z)
• What Visual Generators Need from Teachers: Rethinking Representation Alignment [9.286732771749703]
  本研究は, 生徒が教師の特徴をリニアに回復できない場所において, 生徒がすでに類似している場所にアライメントを組み込むことが, 有効であることを示す。 深層教師層は下層からほぼ予測可能であるため、各層が追加するものと増分を分離し、不整合の生徒がどれだけ回復するかを測定する。
  論文  参考訳（メタデータ） (2026-09-28T09:30:50Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
  半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
  論文  参考訳（メタデータ） (2023-10-28T08:49:16Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。