論文の概要: Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision

• arxiv url: http://arxiv.org/abs/2610.15685v1
• Date: Sun, 11 Oct 2026 15:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.234956
• Title: Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision
• Title（参考訳）: 放射能フィードバック:ラベルオンリーLLMスーパービジョンでトレーニングされた追跡モデル
• Abstract要約: LLM-as-a-Judge知識蒸留は教師による実演の代替となる。 ここで研究されたラベルのみの変種では、学生は全ての反応を生成し、スカラースコアのみから改善する。 教師が生成した答えが生徒のトレーニングセットに入ることはないので、評価者固有の痕跡は低帯域幅の報酬信号を通さなければならない。 報酬そのものに行動選好の登録パターンをエンコードする放射能フィードバックを導入する。
• 参考スコア（独自算出の注目度）: 43.284214508946015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional distillation transfers capability through teacher-generated demonstrations. LLM-as-a-Judge knowledge distillation offers a distinct and increasingly practical alternative. In the label-only variant studied here, the student generates every response and improves from scalar scores alone. Prior work shows that this non-demonstrative feedback can improve student capability, but it creates a fundamentally different provenance problem. No teacher-generated answer enters the student's training set, so any evaluator-specific trace must pass through a low-bandwidth reward signal rather than copied text. Existing watermarks and distillation detectors do not cover this score-only channel. We introduce Radioactive Feedback, which encodes a registered pattern of behavioral preferences in the rewards themselves. The evaluator applies bounded pointwise adjustments to quality-qualified responses, allowing repeated optimization to transfer the pattern to a student trained by another party. Experiments on code and mathematics show that the registered preferences transfer through scores alone and across datasets, enabling black-box detection against a fixed reference pool.
• Abstract（参考訳）: 従来の蒸留技術は、教師による実演を通した。 LLM-as-a-Judgeの知識蒸留は、はっきりとした、より実用的な代替手段を提供する。 ここで研究されたラベルのみの変種では、学生は全ての反応を生成し、スカラースコアのみから改善する。 以前の研究は、この非実証的なフィードバックは生徒の能力を改善することができることを示しているが、基本的に異なる証明問題を生み出している。 教師が作成した回答が生徒のトレーニングセットに入ることはないので、評価者固有の痕跡はコピーされたテキストではなく、低帯域幅の報酬シグナルを通さなければならない。 既存の透かしや蒸留検知器はこのスコアのみのチャネルをカバーしていない。 報酬そのものに行動選好の登録パターンをエンコードする放射能フィードバックを導入する。 評価器は、品質保証された応答に境界点調整を適用し、繰り返し最適化することで、他の当事者によって訓練された学生にパターンを転送することができる。 コードと数学の実験によると、登録された嗜好はスコアのみとデータセット間で伝達され、固定された参照プールに対するブラックボックス検出が可能である。

関連論文リスト

• ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry [7.440703574961596]
  自己蒸留は、個別に訓練された、より有能な教師なしで推論を改善することができる。 リフレクションは、自己生成の試みから明示的なエラー診断と修正ガイダンスを引き出す方法を提供する。 リフレクティブな自己蒸留フレームワークであるReTeachを紹介する。
  論文  参考訳（メタデータ） (2026-10-08T08:58:01Z)
• TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models [27.31606612106555]
  テスト時強化学習により、未ラベル入力を用いて視覚言語モデルに適応することができる。 我々は,多視点応答レベル自己蒸留と視覚的コントラストトークン選択を組み合わせたテスト時強化学習フレームワークTTRSDを提案する。
  論文  参考訳（メタデータ） (2026-09-27T09:49:39Z)
• Retrospective Distillation Attribution via Normalized Response Similarity [23.265137857743156]
  SCOUTは、*syntactic pattern*を候補プロファイルに繰り返し集約し、低コントラストパターンをフィルタし、学生候補距離をカリブレートする。 SCOUTは、モデルウェイト、トークンの確率、過去のチェックポイントなしで、現在のテキストのみを使用して属性と棄権をサポートする。
  論文  参考訳（メタデータ） (2026-09-26T16:14:41Z)
• Decoupled Pipeline with Proposal Reranking and Score Fusion for Positive-Unlabeled Marine Species Detection [0.0]
  DS@GT ARCのマルチステージシステムについて述べる。 このシステムは102チーム中12位にランクインした。 実験の結果、提案のリコールの保存、過剰な攻撃的なフィルタリングの回避、下流のランキングの改善は、検出器を微調整したり、ノイズの多い擬似ラベルを直接訓練するよりも効果的であった。
  論文  参考訳（メタデータ） (2026-07-21T04:35:47Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO [9.443660785229719]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するために広く用いられている。 本研究は,GRPO型RLVRに対する無回答自己蒸留法であるCASTを提案する。
  論文  参考訳（メタデータ） (2026-05-29T13:21:30Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。