論文の概要: DIAG: Diagnostic Iterative Alignment and Generation for Data-Efficient Mathematical Preference Distillation
- arxiv url: http://arxiv.org/abs/2608.22806v1
- Date: Mon, 24 Aug 2026 05:09:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.896785
- Title: DIAG: Diagnostic Iterative Alignment and Generation for Data-Efficient Mathematical Preference Distillation
- Title（参考訳）: DIAG:データ効率の良い数学的選好蒸留のための診断反復アライメントと生成
- Abstract要約: 本稿では,学生の現在の能力境界付近における情報監督と集中訓練を促進するための診断反復アライメント・ジェネレーション・フレームワークを提案する。
実験によると、DIAGはイテレーション全体で収量を増やし、同効果のトレーニング予算の下でより強力な推論性能を提供する。
- 参考スコア（独自算出の注目度）: 7.6963470169750465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Iterative preference optimization is essential for aligning Large Language Models on mathematical reasoning tasks, yet its efficiency is often throttled by signal scarcity: as the model improves, static problem sets become increasingly mismatched to the model's evolving competence, producing rollouts that are either too easy or too hard and therefore non-informative, which leads to a scarcity of valid preference pairs. We propose DIAG, a Diagnostic Iterative Alignment and Generation framework that adaptively reshapes the practice distribution to increase informative supervision and focus training near the student's current competence boundary. DIAG consists of two phases: (1) diagnosing valid preference-pair yield to calibrate the exploration-exploitation trade-off and allocate topic quotas via an Empirical Bayes shrinkage estimator, thereby prioritizing high-yield concepts; and (2) generating targeted practice, where a teacher synthesizes variants from the student's failure traces. We further provide a theoretical view interpreting DIAG as a teacher-mediated approximation to KL-regularized reweighting of the practice distribution toward the student's competence boundary, where valid preference-pair yield is maximized. Experiments show that DIAG boosts yield across iterations and delivers stronger reasoning performance under an iso-effective training budget, demonstrating that it can distill more informative preference supervision for mathematical reasoning.
- Abstract（参考訳）: 反復的な選好最適化は、数学的な推論タスクにおいて大規模言語モデルを調整するために不可欠であるが、その効率はしばしば信号不足によって妨げられる: モデルが改善されるにつれて、静的な問題集合はモデルの進化する能力と不一致になり、ロールアウトは簡単すぎるか難しすぎるか、非形式的であるため、有効な選好ペアの不足につながる。
本稿では,生徒の現在の能力境界付近で,情報監督と集中訓練を促進するために,実践分布を適応的に再評価する診断反復アライメント・ジェネレーションフレームワークであるDIAGを提案する。
DIAGは,(1)探索・探索トレードオフを校正し,経験的ベイズ収縮推定器を介してトピッククォータを割り当てることにより,高収率概念を優先順位付けすること,(2)教師が生徒の失敗トレースから変種を合成する目的の練習を生成すること,の2段階からなる。
さらに,DIAGを教師による実践分布のKL正規化再重み付けに対する近似として解釈する理論的見解を学生の能力境界に向けて提供し,適切な選好対収率を最大化する。
実験により、DIAGは反復の収量を増加させ、等効的なトレーニング予算の下でより強力な推論性能を提供し、数学的推論のためのより情報的な選好監督を抽出できることが示されている。
関連論文リスト
- INSPIRE: An Internalize-Then-Improve Approach for Example-Driven Mathematical Reasoning [61.60016491769943]
人間の数学教育において、定理境界をテストするために反例を構築するような例に基づく推論は、深い概念的理解を反映している。
本稿では,RGSI(Reference-Guided Students Internalization)と段階的選好学習戦略を組み合わせた内在化・内在化アプローチであるINSPIREを提案する。
複数のモデルスケールとファミリーにわたる実験は、大規模なオープンソースモデルを超えながら、一貫した改善を示している。
論文 参考訳（メタデータ） (2026-08-27T03:24:03Z) - CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs [50.189987475377656]
マルチモーダル推論における適応推論長最適化のための能力認識型報酬形成フレームワークであるCAREを提案する。
CAREは、パスレートの指数的な移動平均を通したスムーズなコンピテンス推定を維持し、それを訓練を進行段階にルートするために利用する。
複数のビデオ推論と一般的なビデオ理解ベンチマークの実験により、CAREは推論精度を一貫して改善し、強化学習を安定化し、トークン効率を大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-06-18T08:28:26Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。
ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。
我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
論文 参考訳（メタデータ） (2026-03-24T07:54:19Z) - CTPD: Cross Tokenizer Preference Distillation [19.4149691480574]
クロスTokenizer Preference Distillation (CTPD) は、不均一なトークン化剤を用いたモデル間でのヒューマンアラインな振る舞いを伝達するための、最初の統合されたフレームワークである。
CTPDは,(1)教師と学生が正確な監督伝達のために共有キャラクターレベルスパンにマップするアラインド・スパン・プロジェクション,(2)信用割当を改善するためのTIS-DPO(Token-level Importance Smpling)のクロストケナイザ適応,(3)教師-アンコール・レファレンス(Teacher-Anchored Reference)の3つの重要なイノベーションを紹介した。
論文 参考訳（メタデータ） (2026-01-17T01:11:35Z) - Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
Subset-Selected Counterfactual Augmentation (SS-CA)
我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。
実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-11-15T08:39:22Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳（メタデータ） (2025-09-20T17:09:14Z) - Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning [10.186434946738201]
大規模言語モデル(LLM)は、アルゴリズムコーディングや数学的問題解決といったタスクにおいて顕著な推論能力を示す。
近年の手法では,強化学習と教師付き微調整を組み合わせた多段階学習による推論が改良されている。
論文 参考訳（メタデータ） (2025-08-13T15:32:25Z) - Binarization-Aware Adjuster: Bridging Continuous Optimization and Binary Inference in Edge Detection [0.0]
画像エッジ検出(ED)は、トレーニングと推論の根本的なミスマッチに直面します。
本稿では,バイナリ化アウェア (BAA) を設計するための理論的手法を提案する。
BAAは二項化の挙動を勾配に基づく最適化に明示的に組み入れている。
論文 参考訳（メタデータ） (2025-06-14T11:56:44Z) - LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。
提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。
我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
論文 参考訳（メタデータ） (2025-05-22T16:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。