論文の概要: CircuitLens: Reasoning Circuits as Data Selection Signals for Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2609.07183v1
• Date: Mon, 07 Sep 2026 08:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.384978
• Title: CircuitLens: Reasoning Circuits as Data Selection Signals for Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: CircuitLens: 検証されたリワードによる強化学習のためのデータ選択信号として回路を推論する
• Abstract要約: サーキット推論スコア (Circuit Reasoning Score, CRS) は46個のアテンションヘッドから導出される選択信号である。 CRSは、より強い推論と回路のエンゲージメントがより良いトレーニングデータを生成するという直感的な仮説に逆らう。
• 参考スコア（独自算出の注目度）: 9.41727721095383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is sensitive to which problems a model trains on, yet existing selection criteria--difficulty filtering, hand-curation, reward-trajectory scoring--assess data value as an intrinsic property of problems, independent of the model that will learn from them. We introduce Circuit Reasoning Score (CRS), a selection signal derived from 46 reasoning-sensitive attention heads identified via contrastive ablation, computed in a single forward pass on the frozen base model without reward labels or rollouts. CRS runs against the intuitive hypothesis that stronger reasoning-circuit engagement produces better training data: on Qwen2.5-Math-7B, the lowest-engagement decile improves over random selection on three medium-difficulty benchmarks (GSM8K +2.0 pp, OlympiadBench +1.6 pp, Minerva +2.9 pp), while the highest-engagement decile gains less and is indistinguishable from the middle decile. The advantage has boundary conditions: on a domain-curated pool no selection method separates from the others; at 1.5B scale the useful direction differs; and the lowest-reward training condition produces the strongest downstream generalization. Within the Qwen2.5-Math settings tested, RLVR data selection appears regime-dependent rather than reducible to a static ranking of problem quality.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、モデルがどの問題を訓練するかに敏感であるが、既存の選択基準 - 分散フィルタリング、ハンドカレーション、報酬軌道スコアリング - 問題の本質的な性質としてデータ値を評価し、それらから学習するモデルとは独立している。 本稿では, 補償ラベルやロールアウトを使わずに, フリーズベースモデル上での1つの前方通過で計算した, コントラストアブレーションにより同定された46個のアテンションヘッドから選択信号であるCircuit Reasoning Score(CRS)を紹介する。 Qwen2.5-Math-7Bでは、3つの中微分型ベンチマーク (GSM8K +2.0 pp, OlympiadBench +1.6 pp, Minerva +2.9 pp) のランダム選択よりも低いエンゲージメントデシレが改善され、最も高いエンゲージメントデシレはより小さくなり、中間ディシレと区別できない。 ドメインキュレートされたプールでは、選択法は他のものとは分離せず、1.5Bスケールでは有用な方向が異なる。 テストされたQwen2.5-Math設定の中で、RLVRのデータ選択は、問題品質の静的ランキングに再現されるのではなく、状態に依存しているように見える。

関連論文リスト

• Single-Rollout Hidden-State Dynamics for Training-Free RLVR Data Selection [31.03997249039617]
  我々は、RLVRデータ選択を、任意のRLトレーニングの前に選択を行なわなければならない設定で研究する。 推論時隠れ状態ダイナミクスのみに基づく一発学習自由セレクタShiFTを提案する。
  論文  参考訳（メタデータ） (2026-05-27T15:38:09Z)
• IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage [12.520216206687044]
  本稿では、スパースオートエンコーダ(SAE)クラスタベースでRLVRトレーニングインスタンスを選択するIRDS(Inter-pretable RLVR Data Selection)を提案する。 3つの命令調整モデルと6つの数学推論ベンチマークを用いた実験により、IRDSは全体的な精度が最も高いことを示す。
  論文  参考訳（メタデータ） (2026-05-27T09:58:05Z)
• Selector-Guided Autonomous Curriculum for One-Shot Reinforcement Learning from Verifiable Rewards [0.0]
  RLVR(Reinforcement Learning from Verifiable Rewards)は,Large Language Models(LLMs)の算数推論スキルを増強するための,非常に効果的な手法として確立されている。 静的な報酬分散の代わりに、成功確率、報酬分散、出力の不一致、意味的困難度からなる多次元特徴空間上で学習可能なセレクタモデルを用いるセレクタガイド自律カリキュラム(SGAC)アプローチを提案する。 我々のフレームワークはHendrycks MATHベンチマークを用いて評価され、Qwen2.5-Math-1.5Bモデルがベースラインとして機能する。
  論文  参考訳（メタデータ） (2026-05-03T11:10:01Z)
• Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control [82.30868101940068]
  本稿では,外部データや教師モデルに依存することなく,モデルが自身のパフォーマンスをブートストラップするパラダイムを提案する。 我々の理論的分析は、RSIRがデータ駆動型暗黙正則化器として機能し、最適化景観を円滑にしていることを示している。 より小さなモデルであっても利点があり、弱いモデルはより強力なモデルに対して効果的なトレーニングカリキュラムを生成することができることを示す。
  論文  参考訳（メタデータ） (2026-02-17T15:31:32Z)
• Learn More with Less: Uncertainty Consistency Guided Query Selection for RLVR [18.494852448006462]
  既存のRLVRアルゴリズムでは、大量のクエリ予算が必要で、アノテーションはコストがかかる。 我々は、RLVRにアクティブラーニング(AL)を導入し、より少ないがより情報的なクエリが類似または優れたパフォーマンスをもたらすかどうかを調査する。 実験の結果,本手法は乱数および古典的ALベースラインを一貫して上回り,データの30%をトレーニングしながら全データセットのパフォーマンスを達成できた。
  論文  参考訳（メタデータ） (2026-01-30T05:41:55Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling [19.258007121955924]
  Preference-Aware Task-Aware Reward Model (PaTaRM) は、Rest-Aware rewardメカニズムと動的ルーリック適応を統合した統合フレームワークである。 PaTaRMは、IFEvalとInFoBenchベンチマークで平均13.6%改善され、下流RLHFのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-10-28T09:43:47Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。