論文の概要: Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

• arxiv url: http://arxiv.org/abs/2510.01581v1
• Date: Thu, 02 Oct 2025 02:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.943822
• Title: Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression
• Title（参考訳）: 正しい思考: 適応的で注意深い圧縮を通して、外界の思考を緩和する学習
• Authors: Joykirat Singh, Justin Chih-Yao Chen, Archiki Prasad, Elias Stengel-Eskin, Akshay Nambi, Mohit Bansal,
• Abstract要約: 本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
• 参考スコア（独自算出の注目度）: 68.69801176669843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.
• Abstract（参考訳）: 最近の思考モデルは、テスト時間計算をスケールすることで複雑な推論タスクを解決するが、このスケーリングはタスクの難易度に応じて割り当てる必要がある。 一方、短い推論(再考)は、拡張された推論ステップを必要とする難しい問題のエラーにつながるが、過度に長い推論(再考)はトークン非効率であり、正しい中間解に達した後も不要なステップを生成する。 我々はこれを過度適応性( under-adaptivity)と呼び、様々な困難さの問題を考慮し、モデルが応答長を適切に調整できない。 過度適応性に対処し、過度な思考と過度な思考のバランスをとるために、長い理由からモデルの自己意識を利用して重要なステップを特定し、冗長なステップを創り出すオンライン学習後RL手法であるTRAAC(Think Right with Adaptive, Attentive Compression)を提案する。 TRAACはまた、難易度を推定し、それをトレーニング報酬に組み込むことで、例えば難易度と相反する推論予算を割り当てることを学ぶ。 提案手法は精度を向上し,推論ステップを低減し,ベースモデルや他のRLベースラインと比較して適応的な思考を可能にする。 様々なタスク(AIME, AMC, GPQA-D, BBEH)、TRAAC(Qwen3-4B)は、ベースモデルに比べて推理長さが36.8%減少し、平均絶対精度が8.4%向上し、7.9%の精度が29.4%低下した。 TRAACはまた強力な一般化を示している: 我々のモデルは数学データセットで訓練されているが、GPQA-D、BBEH、OptimalThinkingBenchといった非分布データセットの精度と効率性を示す。 さらに、TRAACは、難易度に基づく思考予算のきめ細かい調整を提供し、タスク微分キャリブレーションとアテンションベース圧縮の組み合わせによって、様々なタスクにまたがって得られることを検証した。

関連論文リスト

• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation [82.2288581878096]
  本稿では,問題複雑性に基づいてモデルに推論深度を動的に調整する難易度推論の枠組みを提案する。 モデルにそのような動的推論経路を与えることができ、アーキテクチャ上の変更を加えることなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:40:13Z)
• CoThink: Token-Efficient Reasoning via Instruct Models Guiding Reasoning Models [56.40065909544213]
  大規模言語モデル(LLM)は、テスト時間スケーリングとして知られる、テスト時間計算の増加の恩恵を受ける。 しかし、推論最適化モデルはしばしば単純な問題さえ考え過ぎ、過度に冗長な出力を生成し、トークン効率を低下させる。 1)強化学習は前方推論の情報密度を減少させ,(2)後方連鎖学習は冗長でしばしば不要な検証ステップを促進する。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• LIMOPro: Reasoning Refinement for Efficient and Effective Test-time Scaling [29.721108461390973]
  PIR(Perplexity-based Importance Refinement)は,各推論ステップの重要性を定量的に評価するフレームワークである。 PIRは、プログレッシブ推論コンポーネントを保持しながら、低重要機能ステップのみを特定し、選択的にプーンする。 我々のアプローチは、異なるモデルサイズ、データソース、トークン予算にまたがる強力な一般化可能性を示す。
  論文  参考訳（メタデータ） (2025-05-25T15:17:57Z)
• ConciseRL: Conciseness-Guided Reinforcement Learning for Efficient Reasoning Models [14.403953640255823]
  強化学習フレームワークに報酬信号として用いられる新しいスコアを導入し、モデルが正確かつ簡潔な推論トレースを生成するよう誘導する。 このスコアは、ジャッジとして機能する大きな言語モデルによって評価され、単純なトークン長を超えて動的でコンテキスト対応のフィードバックを可能にする。 提案手法は,MATHデータセット上での最先端の効率・正確性トレードオフを実現し,簡単な問題ではトークン使用率を最大31倍に削減し,精度を7%向上させるとともに,最も難しい問題では,トークン使用率を最大3.6倍に抑えながら,完全な推論を+7.5%向上させる。
  論文  参考訳（メタデータ） (2025-05-22T19:56:35Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models [65.39456695678713]
  本稿では,問題レベルの難易度を近似的に測定し,問題の難易度と最適なトークン使用量との間に明確な関係があることを実証する。 一般に、推論モデルは、特に簡単な問題に対して、キャリブレーションが不十分である。 トレーニング不要なブラックボックス復号法であるTHOUGHTTERMINATORを導入する。
  論文  参考訳（メタデータ） (2025-04-17T22:16:30Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。