論文の概要: TextReasoningBench: Does Reasoning Really Improve Text Classification in Large Language Models?

• arxiv url: http://arxiv.org/abs/2603.19558v1
• Date: Fri, 20 Mar 2026 01:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.935744
• Title: TextReasoningBench: Does Reasoning Really Improve Text Classification in Large Language Models?
• Title（参考訳）: TextReasoningBench: 大規模言語モデルのテキスト分類は本当に改善されているか?
• Abstract要約: 大規模言語モデルからの明示的でステップバイステップの推論のトレースを排除することは、モデル機能を強化する主要なパラダイムとして現れています。 テキスト分類における推論手法の有効性と効率を評価するためにTextReasoningBenchを導入する。
• 参考スコア（独自算出の注目度）: 14.53953450023902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Eliciting explicit, step-by-step reasoning traces from large language models (LLMs) has emerged as a dominant paradigm for enhancing model capabilities. Although such reasoning strategies were originally designed for problems requiring explicit multi-step reasoning, they have increasingly been applied to a broad range of NLP tasks. This expansion implicitly assumes that deliberative reasoning uniformly benefits heterogeneous tasks. However, whether such reasoning mechanisms truly benefit classification tasks remains largely underexplored, especially considering their substantial token and time costs. To fill this gap, we introduce TextReasoningBench, a systematic benchmark designed to evaluate the effectiveness and efficiency of reasoning strategies for text classification with LLMs. We compare seven reasoning strategies, namely IO, CoT, SC-CoT, ToT, GoT, BoC, and long-CoT across ten LLMs on five text classification datasets. Beyond traditional metrics such as accuracy and macro-F1, we introduce two cost-aware evaluation metrics that quantify the performance gain per reasoning token and the efficiency of performance improvement relative to token cost growth. Experimental results reveal three notable findings: (1) Reasoning does not universally improve classification performance: while moderate strategies such as CoT and SC-CoT yield consistent but limited gains (typically +1% to +3% on big models), more complex methods (e.g., ToT and GoT) often fail to outperform simpler baselines and can even degrade performance, especially on small models; (2) Reasoning is often inefficient: many reasoning strategies increase token consumption by 10$\times$ to 100$\times$ (e.g., SC-CoT and ToT) while providing only marginal performance improvements.
• Abstract（参考訳）: 大規模言語モデル(LLM)からの明示的でステップバイステップの推論トレースの排除が,モデル機能向上の主流パラダイムとして浮上している。 このような推論戦略は、もともとは明示的な多段階推論を必要とする問題のために設計されていたが、より広範囲のNLPタスクに適用されてきている。 この拡張は、議論的推論が均一に不均一なタスクに利益をもたらすことを暗黙的に仮定する。 しかし、そのような推論機構が本当に分類タスクに利益をもたらすかどうかについては、特に相当なトークンと時間的コストを考慮すると、未検討のままである。 このギャップを埋めるために、LLMを用いたテキスト分類のための推論戦略の有効性と効率を評価するために設計された、体系的なベンチマークであるTextReasoningBenchを紹介する。 我々は,5つのテキスト分類データセット上で,10のLLMに対して,IO,CoT,SC-CoT,ToT,GoT,BoC,Long-CoTの7つの推論戦略を比較した。 精度やマクロF1といった従来の指標以外にも、推論トークン当たりのパフォーマンス向上と、トークンコストの増大に対するパフォーマンス改善の効率を定量化する2つのコスト認識評価指標を導入します。 CoT や SC-CoT のような中程度の戦略は整合性はあるが(大モデルでは+1% から +3% に制限される)、より複雑な手法(例えば、ToT や GoT)はより単純なベースラインを上回り、特に小さなモデルでは性能を低下させることがある。

関連論文リスト

• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• EffiReason-Bench: A Unified Benchmark for Evaluating and Advancing Efficient Reasoning in Large Language Models [32.041688648831794]
  EffiReason-Benchは、効率的な推論手法の厳密なクロスパラダイム評価のための統一ベンチマークである。 ステップバイステップ評価を実現するため,CommonsenseQAとLogiQAの認証済みCoTアノテーションを構築した。 本稿では,不連続性を伴わないスムーズで安定した評価を提供する経済トレードオフモデルに着想を得た原則的指標であるE3-Scoreを提案する。
  論文  参考訳（メタデータ） (2025-11-13T11:14:46Z)
• EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
  大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。 ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。 本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:00:13Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs [19.354141845315276]
  連鎖推論は命令追従精度を著しく低下させる。 これは、推論によって引き起こされる命令追従の失敗を体系的に公開する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-16T16:36:00Z)
• Ada-R1: Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• Efficient Inference for Large Reasoning Models: A Survey [74.17203483365171]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。 しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Evaluating System 1 vs. 2 Reasoning Approaches for Zero-Shot Time Series Forecasting: A Benchmark and Insights [21.663682332422216]
  自己整合性は、最も効果的なテスト時の推論戦略として現れます。 グループ相対的な政策最適化は、訓練後の推論能力を高めるためにより適切なアプローチとして現れる。
  論文  参考訳（メタデータ） (2025-02-27T23:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。