論文の概要: FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2602.01222v1
• Date: Sun, 01 Feb 2026 13:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.667505
• Title: FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation
• Title（参考訳）: FutureMind: 適応的知識蒸留による戦略的思考・パターン優先の小さな言語モデルを取得する
• Authors: Shaoxiong Yang, Junting Li, Mengyuan Zhang, Chao Li, Wei Liu, Jian Luan,
• Abstract要約: 小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 本稿では,SLMに戦略的思考パターンを付加したモジュラー推論フレームワークであるFutureMindを提案する。
• 参考スコア（独自算出の注目度）: 13.855534865501369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small Language Models (SLMs) are attractive for cost-sensitive and resource-limited settings due to their efficient, low-latency inference. However, they often struggle with complex, knowledge-intensive tasks that require structured reasoning and effective retrieval. To address these limitations, we propose FutureMind, a modular reasoning framework that equips SLMs with strategic thinking-pattern priors via adaptive knowledge distillation from large language models (LLMs). FutureMind introduces a dynamic reasoning pipeline composed of four key modules: Problem Analysis, Logical Reasoning, Strategy Planning, and Retrieval Guidance. This pipeline is augmented by three distinct retrieval paradigms that decompose complex queries into tractable subproblems, ensuring efficient and accurate retrieval execution. Extensive experiments on multi-hop QA benchmarks, including 2WikiMultihopQA, MuSiQue, Bamboogle, and Frames, demonstrate the superiority of FutureMind. It consistently outperforms strong baselines such as Search-o1, achieving state-of-the-art results under free training conditions across diverse SLM architectures and scales. Beyond empirical gains, our analysis reveals that the process of thinking-pattern distillation is restricted by the cognitive bias bottleneck between the teacher (LLMs) and student (SLMs) models. This provides new perspectives on the transferability of reasoning skills, paving the way for the development of SLMs that combine efficiency with genuine cognitive capability.
• Abstract（参考訳）: 小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 しかし、それらはしばしば、構造化推論と効果的な検索を必要とする複雑な知識集約的なタスクに苦しむ。 これらの制約に対処するため,大規模言語モデル(LLM)からの適応的知識蒸留を通じて,戦略的思考パターンをSLMに組み込むモジュラー推論フレームワークであるFutureMindを提案する。 FutureMindでは、問題解析、論理推論、戦略計画、検索ガイダンスという、4つの主要なモジュールからなる動的推論パイプラインを導入している。 このパイプラインは3つの異なる検索パラダイムによって拡張され、複雑なクエリをトラクタブルなサブプロブレムに分解し、効率的で正確な検索実行を保証する。 2WikiMultihopQA、MuSiQue、Bamboogle、Framesなど、マルチホップQAベンチマークに関する大規模な実験は、FutureMindの優位性を実証している。 検索-o1のような強力なベースラインを一貫して上回り、様々なSLMアーキテクチャとスケールにわたる自由なトレーニング条件下で最先端の結果を達成する。 実験結果より, 学習者(SLM)モデルと教師(LLM)モデルとの認知バイアスのボトルネックにより, 思考パターン蒸留のプロセスが制限されることが示唆された。 これにより、推論スキルの伝達可能性に関する新たな視点が提供され、効率性と真の認知能力を組み合わせたSLMの開発への道が開かれた。

関連論文リスト

• MMhops-R1: Multimodal Multi-hop Reasoning [89.68086555694084]
  マルチモーダルマルチホップ推論の評価と育成を目的とした新しいベンチマークであるMMhopを紹介した。 MMhopsデータセットは、ブリッジと比較という2つの困難なタスクフォーマットで構成されている。 動的推論のための新しいマルチモーダル検索拡張フレームワークMMhops-R1を提案する。
  論文  参考訳（メタデータ） (2025-12-15T17:29:02Z)
• STaR: Towards Cognitive Table Reasoning via Slow-Thinking Large Language Models [12.745473719032026]
  本稿では、認知テーブル推論を実現するための新しいフレームワークSTaR(slow-thinking for table reasoning)を提案する。 STaRはステップバイステップ思考と不確実性認識推論を明示的にモデル化する。 ベンチマーク実験により、STaRは優れた性能を示し、推論安定性が向上した。
  論文  参考訳（メタデータ） (2025-11-14T12:34:17Z)
• Boosting Multi-modal Keyphrase Prediction with Dynamic Chain-of-Thought in Vision-Language Models [28.416254061159176]
  マルチモーダルキーフレーズ予測(MMKP)は、テキストのみの手法を超えて進歩することを目的としている。 従来のマルチモーダルアプローチは、困難な不在と目に見えないシナリオを扱う上で、重大な制限があることが証明されている。 MMKPタスクに視覚言語モデル(VLM)を活用することを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:13:07Z)
• mSCoRe: a $M$ultilingual and Scalable Benchmark for $S$kill-based $Co$mmonsense $Re$asoning [74.97363626515236]
  textbfSkill ベースの textbfCommonsense textbfReasoning (textbfmSCoRe) のための textbfMultilingual と Scalable Benchmark を提案する。 本ベンチマークでは,LLMの推論能力を体系的に評価するための3つの重要な要素を取り入れた。 本研究は,多言語多言語一般と文化的共通点に直面する場合,そのような推論強化モデルの限界を明らかにするものである。
  論文  参考訳（メタデータ） (2025-08-13T18:59:02Z)
• From Query to Logic: Ontology-Driven Multi-Hop Reasoning in LLMs [10.358543961752027]
  我々は、LLMの生成能力と知識グラフの構造的利点を組み合わせたトレーニングなしのフレームワークである**ORACLE* (**O**ntology-driven **R**easoning **A**nd **C*hain for **L*ogical **E**ucidationを提案する。 実験の結果,私たちのフレームワークは,DeepSeek-R1のような最先端モデルに匹敵する,論理的に高い競争力を持つことがわかった。
  論文  参考訳（メタデータ） (2025-08-02T16:12:42Z)
• Infi-MMR: Curriculum-based Unlocking Multimodal Reasoning via Phased Reinforcement Learning in Multimodal Small Language Models [45.15161506154318]
  Infi-MMRは、マルチモーダル小言語モデルの推論能力を体系的に解放するフレームワークである。 第1フェーズであるFoundational Reasoning Activationは、高品質なテキスト推論データセットを活用して、モデルの論理推論能力を活性化し、強化する。 第2のフェーズであるクロスモーダル推論適応は、キャプション拡張されたマルチモーダルデータを使用して、推論スキルをマルチモーダルコンテキストにプログレッシブに転送する。 第3フェーズであるMultimodal Reasoning Enhancementでは、言語バイアスを緩和し、堅牢なクロスモーダル推論を促進するために、キュレートされたキャプションフリーなマルチモーダルデータを採用している。
  論文  参考訳（メタデータ） (2025-05-29T04:51:56Z)
• Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
  本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。 専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。 我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-05-27T04:08:11Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。