論文の概要: The Two-Hump Problem: Bridging the Difficulty Gap in Mathematical Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.21611v1
• Date: Fri, 19 Jun 2026 17:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 04:35:22.497764
• Title: The Two-Hump Problem: Bridging the Difficulty Gap in Mathematical Reinforcement Learning
• Title（参考訳）: 数学強化学習における難易度ギャップのブリッジング
• Authors: Lucas Fagan, Michele Tarquini, Ali Shehper, Maksymilian Manko, Angus Gruen, Coco Huang, Giorgi Butbaia, Davide Passaro, Sergei Gukov,
• Abstract要約: Andrews-Curtis (AC) 予想はそのような問題の例である。 問題インスタンスが自明に解決可能であるか、事実上不可能である「2つのハンプ分布」という、ACランドスケープにおける重要な構造的障壁を識別する。 我々は、AC-19 (125,192 AC-trivial presentations with length with length at most 19)やAC-1M (1,136,154 Hard AC-trivial presentations of length at most 30)を含む新しい包括的なベンチマークデータセットをリリースした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mathematical search problems present a unique challenge for Reinforcement Learning (RL) due to vast search spaces and sparse rewards. In previous works, the Andrews-Curtis (AC) conjecture was established as an illustrative example of such problems. In this work, we identify a critical structural barrier in the AC landscape: a "Two-Hump" distribution, where problem instances are either trivially solvable or effectively impossible, with a scarcity of intermediate "hard-but-solvable" instances required for effective learning. We tackle this challenge through two primary avenues: novel data generation techniques to populate the difficulty gap, and significant algorithmic enhancements including the introduction of supermoves and Transformer-based architectures. We demonstrate substantial performance improvements over previous baselines, and release new comprehensive benchmark datasets including AC-19 (125,192 AC-trivial presentations of varying difficulty with length at most 19) and AC-1M (1,136,154 hard AC-trivial presentations of length at most 30), the first large-scale, publicly available datasets of this kind.
• Abstract（参考訳）: 数学的な探索問題は、広大な探索空間とスパース報酬のために強化学習(RL)に固有の課題をもたらす。 以前の研究で、アンドリュース=クールティス予想(英語版)(AC)はそのような問題の図解的な例として確立された。 本研究は、ACランドスケープにおける重要な構造的障壁を同定する:「2つのハンプ」分布、すなわち、問題のインスタンスは自明に解けるか、効果的に解けるかのいずれかであり、効果的な学習に必要な中間の「ハード・ブット・ソルブル」インスタンスが不足している。 難易度ギャップを埋める新しいデータ生成技術と、スーパームーブメントやトランスフォーマーベースのアーキテクチャの導入を含むアルゴリズムの大幅な拡張の2つの方法によって、この問題に対処する。 本稿では,従来のベースラインに対して大幅な性能向上を示し,AC-19 (125,192 AC-trivial presenteds with length with length at most 19) やAC-1M (1,136,154 Hard AC-trivial presentations at most 30) などのベンチマークデータセットを新たにリリースした。

関連論文リスト

• $S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data [2.003941363902692]
  S3-R1 (Synthetic data and stabilized Search R1) は、より高密度な学習信号とデータ中心のアプローチを結合するフレームワークである。 まず、既存の文書から多様なマルチホップ質問を導き出す合成生成とパイプラインを開発する。 次に、この拡張トレーニングセットを、中間探索品質と正解度の両方を評価する報奨構造と組み合わせる。
  論文  参考訳（メタデータ） (2026-05-02T05:01:05Z)
• QueST: Incentivizing LLMs to Generate Difficult Problems [77.75835742350644]
  大規模言語モデルは、推論タスク、競合レベルのコーディングと数学の問題を解く上で、強力なパフォーマンスを達成した。 既存の競合するコーディングデータセットには、数千から数万の問題しか含まれていない。 本稿では,難解なグラフサンプリングと難解な拒否の微調整を組み合わせた新しいフレームワークであるQueSTを提案する。
  論文  参考訳（メタデータ） (2025-10-20T16:29:53Z)
• ScaleDiff: Scaling Difficult Problems for Advanced Mathematical Reasoning [51.946959481392064]
  大規模推論モデル (LRM) は複雑な問題解決において顕著な能力を示している。 難しい問題の生成をスケールするために設計されたパイプラインであるScaleDiffを提案する。 我々のパイプラインは、より大きくて高価な教師モデルに頼ることなく、高度な推論能力を効果的に伝達できることを示します。
  論文  参考訳（メタデータ） (2025-09-25T12:22:44Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
  先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。 提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
  論文  参考訳（メタデータ） (2025-05-19T15:43:10Z)
• Neumann Series-based Neural Operator for Solving Inverse Medium Problem [5.980803988596087]
  本研究ではニューマン級数構造をニューラルネットワークフレームワークに組み込むことにより,新しいアプローチを提案する。 実験により,提案手法は計算を高速化するだけでなく,一般化性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-09-14T16:54:30Z)
• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Features for the 0-1 knapsack problem based on inclusionwise maximal solutions [0.7734726150561086]
  我々は任意の 0-1 knapsack 問題インスタンスの IMS に関連する新しい計算上の問題をいくつか定式化する。 約540CPU時間でスーパーコンピュータ上の2つの大きなデータセットを計算し、計算コストのかかる14の特徴を導出する。 提案する特徴は,問題事例の実証的硬度に関連する重要な情報を含むことを示す。
  論文  参考訳（メタデータ） (2022-11-16T12:48:35Z)
• Few-shot Partial Multi-view Learning [103.33865779721458]
  本稿では,複数ショット部分的多視点学習という新しい課題を提案する。 それは、低データ体制におけるビューミス問題によるネガティブな影響を克服することに焦点を当てている。 提案手法を評価するため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-05-05T13:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。