論文の概要: FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
- arxiv url: http://arxiv.org/abs/2601.19001v1
- Date: Mon, 26 Jan 2026 22:23:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-28 15:26:51.086235
- Title: FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
- Title（参考訳）: FROST: 効率的な推論を意図したアウトレーヤのフィルタリング
- Authors: Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar,
- Abstract要約: 効率的な推論のための注意認識手法であるFROSTを提案する。
推論アウトリーチの概念を導入し、それらを取り除くための注意に基づくメカニズムを設計する。
実験により,FROSTを2つの強い推論モデルを用いて4つのベンチマークで検証した。
- 参考スコア（独自算出の注目度）: 5.052490988216709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST
- Abstract（参考訳）: 効率的な推論のための注意認識手法であるFROSTを提案する。
従来のアプローチとは異なり、FROSTは注意重みを利用して非クリティカルな推論経路を創り出し、より短くより信頼性の高い推論軌道を生み出す。
方法論的には,外乱の推論の概念を導入し,それらを取り除くための注意に基づくメカニズムを設計する。
理論的には、FROSTは文レベルでの外れ値を取り除きながらモデルの推論能力を維持し、強化する。
実験により,2つの強力な推論モデル(Phi-4-Reasoning と GPT-OSS-20B)を用いて,FROSTを4つのベンチマークで検証した。
特に、FROSTは平均69.68%のトークン使用量削減と26.70%の精度向上を実現している。
さらに、注目外れ値の評価では、FROSTはベースモデルと比較して最大無限度ノルムを15.97%、平均カルトーシスを91.09%削減する。
コードはhttps://github.com/robinzixuan/FROSTで入手できる。
関連論文リスト
- ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。
本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
論文 参考訳（メタデータ） (2026-01-12T01:26:30Z) - Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。
提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。
より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
論文 参考訳（メタデータ） (2026-01-06T12:31:51Z) - Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。
Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。
不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
論文 参考訳（メタデータ） (2025-09-27T16:25:06Z) - Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。
モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。
提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
論文 参考訳（メタデータ） (2025-05-27T20:59:29Z) - Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
本稿では,情報理論レンズによる推論プロセスの効率を再考する。
本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。
これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
論文 参考訳（メタデータ） (2025-05-23T13:38:56Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。