論文の概要: BOW: Bottlenecked Next Word Exploration

• arxiv url: http://arxiv.org/abs/2506.13502v1
• Date: Mon, 16 Jun 2025 13:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.602684
• Title: BOW: Bottlenecked Next Word Exploration
• Title（参考訳）: BOW:次の単語探索は失敗に終わった
• Authors: Ming Shen, Zhikun Xu, Xiao Ye, Jacob Dineen, Ben Zhou,
• Abstract要約: Next-word Prediction (NWP)は、強い表面レベルの流速を提供するが、堅牢な推論のサポートを欠いていることが多い。 推論ボトルネックを導入してNWPを再考する新しいRLフレームワークであるBOW(Bottlenecked Next Word Explorion)を提案する。 BOWはバニラNWPに代わる効果的でスケーラブルな代替品として機能する。
• 参考スコア（独自算出の注目度）: 6.951003387516379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are typically trained via next-word prediction (NWP), which provides strong surface-level fluency but often lacks support for robust reasoning. We propose BOttlenecked next Word exploration (BOW), a novel RL framework that rethinks NWP by introducing a reasoning bottleneck where a policy model first generates a reasoning path rather than predicting the next token directly, after which a frozen judge model predicts the next token distribution based solely on this reasoning path. We train the policy model using GRPO with rewards that quantify how effectively the reasoning path facilitates next-word recovery. Compared with other continual pretraining baselines, we show that BOW improves both the general and next-word reasoning capabilities of the base model, evaluated on various benchmarks. Our findings show that BOW can serve as an effective and scalable alternative to vanilla NWP.
• Abstract（参考訳）: 大規模言語モデル (LLM) は通常、強い表面レベルの流速を提供するが、頑健な推論のサポートを欠く、next-word prediction (NWP) を通じて訓練される。 提案するBOW(Bottlenecked Next Word Exploring)は,政策モデルが直接次のトークンを予測するのではなく,最初に推論経路を生成するような推論ボトルネックを導入し,その後,凍結判定モデルがこの推論経路のみに基づいて次のトークン分布を予測することによって,NWPを再考する新しいRLフレームワークである。 我々はGRPOを用いてポリシーモデルを訓練し、推論経路が次の単語の回復をいかに効果的に促進するかを定量化する。 他の継続事前学習ベースラインと比較して、BOWはベースモデルの一般および次単語推論能力を改善し、様々なベンチマークで評価する。 以上の結果から,BOWはバニラNWPに代わる効果的でスケーラブルな代替手段である可能性が示唆された。

関連論文リスト

• Diversity or Precision? A Deep Dive into Next Token Prediction [19.30494719444709]
  本研究では,事前学習したトークン出力分布が,その後の強化学習の探索ポテンシャルをいかに形成するかを検討する。 精度指向の勾配を先行させると、RLのより優れた探索空間が得られることが分かる。
  論文  参考訳（メタデータ） (2025-12-28T14:53:24Z)
• Scaling Latent Reasoning via Looped Language Models [109.64154923739842]
  事前学習されたループ言語モデル(LoopLM)のファミリーであるOuroを提示し、オープンソース化する。 Ouro は (i) 潜時空間における反復計算, (ii) 学習深度割り当てのためのエントロピー規則化された目的, (iii) 7.7T トークンへのスケーリングによる事前学習段階への推論を構築する。
  論文  参考訳（メタデータ） (2025-10-29T17:45:42Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• Reinforcement Pre-Training [78.5355979575498]
  大規模言語モデルと強化学習(RL)のための新しいスケーリングパラダイムとしてReinforcement Pre-Training(RPT)を導入する。 RPTは、ドメイン固有の注釈付き回答に頼るのではなく、大量のテキストデータを汎用RLに活用するためのスケーラブルな方法を提供する。 その結果、RTPは言語モデルの事前学習を促進するための効果的で有望なスケーリングパラダイムとして位置づけられた。
  論文  参考訳（メタデータ） (2025-06-09T17:59:53Z)
• Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
  強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。 本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。 差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
  論文  参考訳（メタデータ） (2025-06-03T01:15:15Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [67.87579664988199]
  TONは視覚言語モデル(VLM)のための2段階のトレーニング戦略である 選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。 TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
  論文  参考訳（メタデータ） (2025-05-22T16:13:29Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)
• Back to Square One: Bias Detection, Training and Commonsense Disentanglement in the Winograd Schema [106.79804048131253]
  Winograd(WS)は、モデルの常識能力を測定するテストとして提案されている。 本稿では,WS の現在評価手法が準最適であることを示し,その評価にツイン文を用いる修正を提案する。 私たちは、WSの明らかな進歩の多くは、必ずしも常識推論の進歩を反映していないと結論付けています。
  論文  参考訳（メタデータ） (2021-04-16T15:17:23Z)
• Innovative Bert-based Reranking Language Models for Speech Recognition [15.762742686665652]
  自動音声認識(ASR)によるN-best仮説のランク付けに用いるBERTに基づく文脈化言語モデル(LM)の新たなインスタンス化を提案する。 そこで我々は,BERTを予測問題とするN-best仮説を,N-best仮説(PBERTにより代入された)を前提として,最も低い単語誤り率(WER)を持つオラクル仮説を予測することを目的とする。 特に,N-best仮説の再評価においてPBERTを支援するために,タスク固有のグローバルトピック情報を教師なしの方法で活用することを検討する。
  論文  参考訳（メタデータ） (2021-04-11T07:55:41Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。