論文の概要: Nonsense Helps: Prompt Space Perturbation Broadens Reasoning Exploration

• arxiv url: http://arxiv.org/abs/2605.05566v1
• Date: Thu, 07 May 2026 01:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.473868
• Title: Nonsense Helps: Prompt Space Perturbation Broadens Reasoning Exploration
• Title（参考訳）: 宇宙の摂動が広まる「ナンセンス・ヘルプ」
• Authors: Langlin Huang, Chengsong Huang, Jinyuan Li, Donghong Cai, Yuyi Yang, Jiaxin Huang,
• Abstract要約: 探索ボトルネックを打破するためにLorem Perturbation for Exploration (LoPE)を提案する。 LoPEは、Lorem Ipsum vocabulary(疑似ラテン語のプレースホルダーテキスト)から集められたシーケンスを、再サンプリング前のプロンプトにプリペンドする。 我々の研究は,LPEを大規模言語モデルにおける探索を拡大するための強力なベースラインとして確立した。
• 参考スコア（独自算出の注目度）: 14.622332371428056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement learning with verifiable rewards, particularly Group Relative Policy Optimization (GRPO), has significantly advanced the reasoning capabilities of Large Language Models (LLMs). However, in complex tasks, GRPO frequently suffers from the ``zero-advantage problem'': when all sampled rollouts for a query fail, the relative advantage collapses to zero. Consequently, the model loses effective training signals for these questions, wasting the training data and computational budget. While simply increasing the sampling budget for these questions is a common remedy, the static sampling policy inherently constrains reasoning exploration, limiting the success rate. In this paper, we propose Lorem Perturbation for Exploration (LoPE), a simple yet effective training framework to break this exploration bottleneck. We posit that task-irrelevant prompt-space perturbations can shift the model's output distribution enough to unlock orthogonal reasoning pathways for hard questions. Specifically, LoPE prepends sequences stochastically assembled from Lorem Ipsum vocabulary (a pseudo-Latin placeholder text) to the prompts before resampling. Experiments across 1.7B, 4B, and 7B models demonstrate that LoPE significantly outperforms resampling with the original prompts. Further analysis reveals that other Latin-based random sequences with low perplexity are also effective perturbations. Our results establish LoPE as a strong baseline for broadening exploration in LLM reinforcement learning.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習、特にグループ相対政策最適化(GRPO)は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 しかし、複雑なタスクでは、GRPOは‘ゼロアドバンテージ問題’に悩まされることが多く、クエリのすべてのサンプルロールアウトが失敗すると、相対的なアドバンテージはゼロになる。 その結果、モデルはこれらの質問に対して効果的なトレーニング信号を失い、トレーニングデータと計算予算を浪費する。 これらの質問のサンプリング予算を単に増やすことは一般的な対策であるが、静的サンプリングポリシーは本質的に探索の推論を制約し、成功率を制限する。 本稿では,Lorem Perturbation for Exploration (LoPE)を提案する。 タスク非関連なプロンプト空間の摂動は、厳密な質問に対して直交推論経路を解き放つのに十分な出力分布を変えることができると仮定する。 具体的には、LoPEは、Lorem Ipsum vocabulary(疑似ラテン語のプレースホルダーテキスト)から確率的に組み立てられたシーケンスを、再サンプリング前のプロンプトに割り当てる。 1.7B、4B、および7Bモデルに対する実験では、LoPEが元のプロンプトで再サンプリングを著しく上回っていることが示されている。 さらなる分析により、低パープレキシティを持つ他のラテン系ランダムシーケンスも効果的な摂動であることが明らかとなった。 LLM強化学習における探索を拡大するための強力な基盤としてLoPEを確立した。

関連論文リスト

• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models [64.49342399229529]
  我々は、ポストホック帰属を推論問題として再編成し、回答を構成単位に分解し、それぞれ特定の文脈に結び付けることができると論じる。 DecompTuneは、モデルに中間的推論ステップとして解解分解を生成することを教えるポストトレーニング手法である。 DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。
  論文  参考訳（メタデータ） (2025-10-29T17:58:59Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• Concise Reasoning via Reinforcement Learning [13.657506042120167]
  我々は強化学習(RL)の中核的原則を再考する。 簡潔さと正確さの自然な相関関係を明らかにする。 RLトレーニングの二次段階の導入は、非常に小さな問題セットを用いて、思考の連鎖を著しく減少させることが示される。
  論文  参考訳（メタデータ） (2025-04-07T15:35:54Z)
• Reward Guidance for Reinforcement Learning Tasks Based on Large Language Models: The LMGT Framework [1.5802986215292307]
  Language Model Guided reward Tuning (LMGT)は、強化学習のための新しい、サンプル効率の高いフレームワークである。 我々は,LMGTが探索と搾取のバランスを良好に保ち,エージェントの探索行動の指針となることを示す。 以上の結果から,LMGTはRL学習期間中に必要な計算資源を大幅に削減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-07T07:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。