論文の概要: Learning from Consensus and Disagreement: Unsupervised On-Policy Self-Distillation with Minority-Trajectory Contrast
- arxiv url: http://arxiv.org/abs/2608.08764v1
- Date: Sun, 09 Aug 2026 15:23:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.942254
- Title: Learning from Consensus and Disagreement: Unsupervised On-Policy Self-Distillation with Minority-Trajectory Contrast
- Title（参考訳）: コンセンサスからの学習と診断:小ささとトラジェクティブ・コントラストによる教師なしオン・ポリティィ自己蒸留
- Abstract要約: オンライン自己蒸留は、実際に学生が訪れた州について教師に質問することで、言語モデル推論を改善する。
近年の手法は、教師を特権的文脈に露出させることにより、強力な情報非対称性を生み出す。
我々は、モデル自身のロールアウトの潜在的不確実性構造から完全に信頼性の高い特権情報を生成する、完全に教師なしのフレームワークであるCoDAを紹介します。
- 参考スコア（独自算出の注目度）: 15.292903130335974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy self-distillation improves language-model reasoning by querying a teacher on states actually visited by the student. Recent methods create a powerful information asymmetry by exposing the teacher to privileged context, yet they fundamentally rely on external supervision---such as gold solutions or verifiers---to construct this advantage. We introduce CoDA (Consensus and Disagreement Alignment), a fully unsupervised framework that creates reliable privileged information entirely from the latent uncertainty structure of a model's own unlabeled rollouts. CoDA extracts two complementary signals. In the positive branch, answer-level consensus identifies a stable reasoning mode, which conditions a frozen self-teacher to provide dense distributional guidance on fresh student trajectories. However, because agreement does not guarantee correctness, positive-only distillation risks amplifying correlated errors into a false consensus. To break this harmful feedback loop, CoDA incorporates a negative branch that exploits disagreement: minority trajectories are treated as unstable alternatives and gently penalized via a reference-anchored, KTO-style calibration objective. This unpaired binary feedback provides robust regularization without requiring the strong assumption that the consensus is the absolute ground truth. Empirical evaluations on competition-level mathematical benchmarks demonstrate that CoDA significantly improves reasoning, outperforming self-generated baselines and effectively stabilizing training against erroneous consensus.
- Abstract（参考訳）: オンライン自己蒸留は、実際に学生が訪れた州で教師に質問することで、言語モデル推論を改善する。
近年の手法は、教師を特権的な文脈に露出させることで強力な情報非対称性を生み出すが、それらは基本的に外部の監督(金の解法や検証者など)に依存している。
CoDA(Consensus and Disagreement Alignment)は,モデル自体のラベルのないロールアウトの潜在的不確実性構造から,信頼性の高い特権情報を生成する,完全に教師なしのフレームワークである。
CoDAは2つの補完シグナルを抽出する。
The positive branch, answer-level consensus is identified a stable reasoning mode, which is conditions a frozen self-Teacher to provide dense distributional guidance on fresh students trajectories。
しかし、合意は正当性を保証しないため、正のみの蒸留リスクは相関エラーを偽のコンセンサスに増幅する。
この有害なフィードバックループを断ち切るために、CoDAは不一致を悪用する負の分岐を取り入れている: マイノリティ軌道は不安定な代替品として扱われ、参照アンコールされたKTOスタイルの校正の目的によって穏やかに罰せられる。
この未経験のバイナリフィードバックは、コンセンサスが絶対的基礎真理であるという強い仮定を必要とせずに、堅牢な正規化を提供する。
競合レベルの数学ベンチマークに関する実証的な評価は、CoDAが推論を著しく改善し、自己生成ベースラインを上回り、誤ったコンセンサスに対するトレーニングを効果的に安定化することを示している。
関連論文リスト
- Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation [14.183839885490372]
オンライン蒸留(OPD)は、現在の学生が生み出す軌跡に沿って教師に質問することで拡散モデルに適応する。
既存の OPD 法は,CFG 合成予測に追従する速度マッチングを自然に拡張する。
この目的がブランチレベルで過小評価されていることを示す。
我々は、正の予測とCFG条件の方向を別々に制約する分岐認識OPD目標である正の方向マッチング(PDM)を導入する。
論文 参考訳（メタデータ） (2026-07-27T17:57:02Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。
OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
論文 参考訳（メタデータ） (2026-05-12T17:00:53Z) - \mathsf{VISTA}: Decentralized Machine Learning in Adversary Dominated Environments [21.69919643934826]
分散機械学習は、評価などのアウトソーシング計算を信頼できないワーカノードに頼っていることが多い。
本稿では, 相互に整合性がある場合にのみ, 報告を受理し, 報奨するインセンティブ指向の枠組みを通じて, 敵に支配される設定について検討する。
本稿では,最適化履歴を用いた適応アルゴリズムであるmathsfVISTAを提案する。
論文 参考訳（メタデータ） (2026-05-08T15:07:15Z) - The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。
本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
論文 参考訳（メタデータ） (2026-04-18T04:43:40Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳（メタデータ） (2026-04-12T15:35:08Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z) - GATES: Self-Distillation under Privileged Context with Consensus Gating [89.62339954332248]
我々は、監督が信頼できない環境で自己蒸留を研究する。
非対称な文脈で回答する文書に焦点をあてる。
複数の文書ベース推論トレースをサンプリングすることにより、教師のコンセンサスからオンラインでの監督を導出する。
論文 参考訳（メタデータ） (2026-02-24T05:56:20Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - UDA: Unsupervised Debiasing Alignment for Pair-wise LLM-as-a-Judge [23.497453639857852]
本研究では,エロ評価システムを動的に調整することで,不一致を解消する枠組みであるUDAを提案する。
UDAは、すべての裁判官のエロ軌道間の分散を最小限にすることを目的として、完全に教師なしの方法で運営されている。
実験の結果、UDA は Judge の標準偏差を 63.4% まで減少させ、人間の判断との平均的相関を 24.7% 向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-13T11:41:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。