論文の概要: Sparse RL Relaxation for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.27220v1
• Date: Mon, 19 Oct 2026 19:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.486795
• Title: Sparse RL Relaxation for LLM Reasoning
• Title（参考訳）: LLM推論のためのスパースRL緩和
• Abstract要約: ソフトチェイン・オブ・ソート(CoT)推論のための強化学習(RL)のための疎緩和法を提案する。 そこで本研究では, 遠心分離法を用いて, ソフトネスの度合いを適応的に決定し, 確実なステップで長いテールノイズをトラストする手法を提案する。 本手法は,ベースライン法と比較して高い平均性能を実現する。
• 参考スコア（独自算出の注目度）: 37.90021134230891
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent work has explored continuous representations in place of discrete tokens during Chain-of-Thought (CoT) reasoning, often referred to as soft CoT. This is motivated by the idea that a mixture of token embeddings can represent a superposition of multiple reasoning possibilities within a single step. However, it remains challenging to train large language models to realize this potential. Existing work has explored reinforcement learning (RL)-style training for soft CoT. However, these approaches treat soft tokens as actions in a Markov decision process rather than as differentiable intermediate computation steps. Thus, they do not propagate gradients across the soft tokens and miss out on the signal of how the choice of one soft token affects the next. In this paper, we propose a sparse relaxation method for RL (called SpaRLax), which leverages the differentiability of soft-CoT reasoning over time steps and makes training more stable and effective. We adopt an entmax sparsity method that adaptively determines the degree of softness, which truncates long-tail noise at confident steps while retaining multiple plausible candidates when uncertain. Across nine reasoning benchmarks, our method achieves the highest average performance compared with baseline methods. Further analyses validate the effective use of soft-token superposition in our approach, and also demonstrate the contribution of adaptive sparsity in our approach.
• Abstract（参考訳）: 最近の研究は、CoT(Chain-of-Thought)推論中に離散トークンの代わりに連続表現を探索し、しばしばソフトCoTと呼ばれる。 これは、トークンの埋め込みの混合が、一つのステップ内で複数の推論可能性の重ね合わせを表現できるという考えに動機づけられている。 しかし、この可能性を実現するために、大きな言語モデルをトレーニングすることは依然として困難である。 既存の研究は、ソフトCoTのための強化学習(RL)スタイルのトレーニングを探求してきた。 しかし、これらの手法は、可微分中間計算ステップではなく、マルコフ決定過程におけるアクションとしてソフトトークンを扱う。 したがって、ソフトトークン間の勾配を伝播せず、1つのソフトトークンの選択が次のトークンにどのように影響するかのシグナルを見逃す。 本稿では、時間ステップによるソフトCoT推論の微分可能性を活用し、トレーニングをより安定かつ効果的に行うRL(SpaRLax)のスパース緩和法を提案する。 本手法では,不確実な場合には複数の候補を保ちながら,確実なステップで長いテールノイズをトラストするソフトネスの度合いを適応的に決定するエントマックス空間法を採用する。 9つの推論ベンチマークで,本手法はベースライン法と比較して高い平均性能を達成している。 さらに,本手法におけるソフトトーケン重ね合わせの有効性を検証し,適応的疎結合の寄与を実証した。

関連論文リスト

• RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step [7.647393987025467]
  ルールベースプライオリティを用いた遅延推論のための新しい圧縮フレームワークであるOne-Model One-Stepを紹介する。 本手法は,LSMを訓練し,単一の訓練段階において遅延推論トークンを自律的に生成する。 実験の結果,既存の潜在CoT法よりも11.1%精度が向上した。
  論文  参考訳（メタデータ） (2026-05-10T05:55:07Z)
• SeLaR: Selective Latent Reasoning in Large Language Models [5.837876642209202]
  CoT(Chain-of-Thought)は、大規模言語モデルにおける推論の基盤となっている。 最近の潜在的推論手法は、離散トークンをソフト埋め込みに置き換えることで、この制限を緩和しようとする。 潜在推論のための軽量かつトレーニング不要なフレームワークであるSeLaRを提案する。
  論文  参考訳（メタデータ） (2026-04-09T14:32:07Z)
• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• LLMs are Single-threaded Reasoners: Demystifying the Working Mechanism of Soft Thinking [25.468889616586363]
  大規模言語モデル(LLM)のソフト思考能力について検討する。 ソフトシンキングが多様な推論経路の並列探索を支援するという一般的な信念とは対照的に,LLMはシングルスレッドの推論として振る舞うことが明らかとなった。 我々の実験は、特にGumbel-max のトリックと無作為性がバニラアプローチの限界を緩和できることを示した。
  論文  参考訳（メタデータ） (2025-08-05T13:38:33Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。