論文の概要: Regret Pre-training: Bridging Prior and Posterior Views for Enhanced Knowledge Grounding

• arxiv url: http://arxiv.org/abs/2606.03080v1
• Date: Tue, 02 Jun 2026 03:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.720226
• Title: Regret Pre-training: Bridging Prior and Posterior Views for Enhanced Knowledge Grounding
• Title（参考訳）: レグレト事前学習:知識基盤強化のための事前学習と後見
• Abstract要約: 因果言語モデルは、事前コンテキストのみを使用してシーケンス確率を分解し、トレーニング中に将来の情報が明らかにされない。 本稿では,Learning Using Privileged Information (LUPI)パラダイムに基づく自己教師型フレームワークであるRegret Pre-trainingを紹介する。
• 参考スコア（独自算出の注目度）: 13.566038176107703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Causal language models factorize sequence probabilities using only preceding context, leaving future information unexploited during training despite its availability in the training data. This paper introduces Regret Pre-training, a self-supervised framework grounded in the Learning Using Privileged Information (LUPI) paradigm. The framework employs a dual-view architecture in which a single model generates both a causal Student distribution and a future-conditioned Teacher distribution. The training objective augments standard language modeling with a regret loss that minimizes the KL divergence from teacher to student, transferring future-aware signals to the causal representations. We investigate two teacher configurations on the OLMoE-1B-7B architecture:LocalRegret, which extends attention by one future token, andGlobalRegret, which conditions on bidirectional context with the target position masked. Experiments on nine downstream tasks following 4 billion tokens of training demonstrate that both configurations consistently outperform the baseline. On average,GlobalRegret andLocalRegret achieve 33.9% and 32.2% accuracy respectively, surpassing the baseline's 30.2%. Most notably,GlobalRegret improves BoolQ performance by 18.1 percentage points (61.0% vs 42.9%). The framework introduces no additional parameters and requires only one extra inference-mode forward pass per training step.
• Abstract（参考訳）: 因果言語モデルは、事前コンテキストのみを使用してシーケンス確率を分解し、トレーニングデータで利用可能であるにもかかわらず、トレーニング中に将来の情報が明らかにされていない。 本稿では,Learning Using Privileged Information (LUPI)パラダイムに基づく自己教師型フレームワークであるRegret Pre-trainingを紹介する。 このフレームワークは、単一モデルが因果的学生分布と将来の条件付き教員分布の両方を生成するデュアルビューアーキテクチャを採用している。 学習目的は、教師から生徒へのKLのばらつきを最小限に抑えつつ、標準言語モデリングを強化し、将来の認識信号を因果表現に伝達する。 本稿では,OLMoE-1B-7Bアーキテクチャの2つの教師構成について検討する。LocalRegret,GlobalRegret,GlobalRegret。 40億のトレーニングトークンに続く9つの下流タスクの実験は、両方の設定がベースラインを一貫して上回ることを示した。 平均して、GlobalRegretとLocalRegretはそれぞれ33.9%、32.2%の精度でベースラインの30.2%を上回っている。 最も注目すべきは、GlobalRegretはBoolQのパフォーマンスを18.1ポイント改善する(61.0%対42.9%)。 このフレームワークは追加のパラメータを導入せず、トレーニングステップ毎に1つの追加の推論モードフォワードパスしか必要としない。

関連論文リスト

• Pre-carved Niches: The Formation Dynamics of Modular Task Partitions in Early LLM Training [2.446942686520097]
  大きな言語モデルは、人間の脳のよく研究された機能的ネットワークを反映するモジュラー内部組織を示す。 我々は、Pythia-410Mモデルをスクラッチ(2つのトラジェクトリ、bf16、fp32)からトレーニングし、各ステップで属性パッチを実行する。 基板からの逸脱は、学習されるドメインにのみ現れ、モジュラリティが学習を追跡するという仮説と一致する。
  論文  参考訳（メタデータ） (2026-09-01T12:47:09Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• What Makes Interaction Trajectories Effective for Training Terminal Agents? [55.62817294510983]
  Terminal-Legoは、現実世界の問題を環境検証されたエージェントタスクに変換するスケーラブルなパイプラインである。 下着剤であるDeepSeek-V3.2の軌跡を微調整した学生は、はるかに強力な一般化を示している。 Qwen3-32Bは15.3kの終端レゴ軌道しか持たず、終端ベンチ2.0で24.3%のスコアを獲得し、データボリュームの30倍以上で確立された以前のSOTAのパフォーマンスと競合する。
  論文  参考訳（メタデータ） (2026-06-02T10:37:47Z)
• Learning-Zone Energy: Online Data Selection for Efficient RL Post-Training [28.00739954235118]
  そこで本研究では,モデルにおけるアクティブな学習フロンティアに焦点をあてた,理論的基盤を持つ完全オンラインデータ選択フレームワークを提案する。 リプレイ付きフォワードプルーナーは、永続的に解決されたプロンプトのロールアウト生成をスキップすることで、ウォールクロック時間コストをさらに低減する。 我々の方法は1ステップあたりのトレーニングデータの40%しか保持しないが、完全なデータベースラインにマッチまたは超えている。
  論文  参考訳（メタデータ） (2026-05-16T14:01:12Z)
• Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
  単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2026-02-26T23:01:46Z)
• Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO [24.91321958525287]
  大規模言語モデルからコンパクトな学生モデルへ推論するCoT(Chain-of-Thought)の蒸留は、根本的な課題である。 既存のアプローチでは、推論を単一ステップに圧縮するか、CoTを価値あるものにする解釈性を失う。 本稿では,この能力のミスマッチに対処する3段階のカリキュラム学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:27:11Z)
• One Model for All: Universal Pre-training for EEG based Emotion Recognition across Heterogeneous Datasets and Paradigms [9.873322204941394]
  One Model for All"は、異なるデータセット間でのEEG分析のための普遍的な事前トレーニングフレームワークである。 我々のフレームワークは、SEED (99.27%)、DEAP (93.69%)、DREAMER (93.93%)という、全てのオブジェクト内ベンチマークで新しいSOTA性能を実現する。 この研究は、多種多様な脳波分析タスクのための、より普遍的でスケーラブルで効果的な事前学習モデルの道を開いた。
  論文  参考訳（メタデータ） (2025-11-11T16:46:45Z)
• UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
  本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。 これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。 得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-10-23T07:18:32Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。