論文の概要: FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2602.01222v1
• Date: Sun, 01 Feb 2026 13:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.667505
• Title: FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation
• Title（参考訳）: FutureMind: 適応的知識蒸留による戦略的思考・パターン優先の小さな言語モデルを取得する
• Authors: Shaoxiong Yang, Junting Li, Mengyuan Zhang, Chao Li, Wei Liu, Jian Luan,
• Abstract要約: 小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 本稿では,SLMに戦略的思考パターンを付加したモジュラー推論フレームワークであるFutureMindを提案する。
• 参考スコア（独自算出の注目度）: 13.855534865501369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small Language Models (SLMs) are attractive for cost-sensitive and resource-limited settings due to their efficient, low-latency inference. However, they often struggle with complex, knowledge-intensive tasks that require structured reasoning and effective retrieval. To address these limitations, we propose FutureMind, a modular reasoning framework that equips SLMs with strategic thinking-pattern priors via adaptive knowledge distillation from large language models (LLMs). FutureMind introduces a dynamic reasoning pipeline composed of four key modules: Problem Analysis, Logical Reasoning, Strategy Planning, and Retrieval Guidance. This pipeline is augmented by three distinct retrieval paradigms that decompose complex queries into tractable subproblems, ensuring efficient and accurate retrieval execution. Extensive experiments on multi-hop QA benchmarks, including 2WikiMultihopQA, MuSiQue, Bamboogle, and Frames, demonstrate the superiority of FutureMind. It consistently outperforms strong baselines such as Search-o1, achieving state-of-the-art results under free training conditions across diverse SLM architectures and scales. Beyond empirical gains, our analysis reveals that the process of thinking-pattern distillation is restricted by the cognitive bias bottleneck between the teacher (LLMs) and student (SLMs) models. This provides new perspectives on the transferability of reasoning skills, paving the way for the development of SLMs that combine efficiency with genuine cognitive capability.
• Abstract（参考訳）: 小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 しかし、それらはしばしば、構造化推論と効果的な検索を必要とする複雑な知識集約的なタスクに苦しむ。 これらの制約に対処するため,大規模言語モデル(LLM)からの適応的知識蒸留を通じて,戦略的思考パターンをSLMに組み込むモジュラー推論フレームワークであるFutureMindを提案する。 FutureMindでは、問題解析、論理推論、戦略計画、検索ガイダンスという、4つの主要なモジュールからなる動的推論パイプラインを導入している。 このパイプラインは3つの異なる検索パラダイムによって拡張され、複雑なクエリをトラクタブルなサブプロブレムに分解し、効率的で正確な検索実行を保証する。 2WikiMultihopQA、MuSiQue、Bamboogle、Framesなど、マルチホップQAベンチマークに関する大規模な実験は、FutureMindの優位性を実証している。 検索-o1のような強力なベースラインを一貫して上回り、様々なSLMアーキテクチャとスケールにわたる自由なトレーニング条件下で最先端の結果を達成する。 実験結果より, 学習者(SLM)モデルと教師(LLM)モデルとの認知バイアスのボトルネックにより, 思考パターン蒸留のプロセスが制限されることが示唆された。 これにより、推論スキルの伝達可能性に関する新たな視点が提供され、効率性と真の認知能力を組み合わせたSLMの開発への道が開かれた。

関連論文リスト

• MMhops-R1: Multimodal Multi-hop Reasoning [89.68086555694084]
  マルチモーダルマルチホップ推論の評価と育成を目的とした新しいベンチマークであるMMhopを紹介した。 MMhopsデータセットは、ブリッジと比較という2つの困難なタスクフォーマットで構成されている。 動的推論のための新しいマルチモーダル検索拡張フレームワークMMhops-R1を提案する。
  論文  参考訳（メタデータ） (2025-12-15T17:29:02Z)
• STaR: Towards Cognitive Table Reasoning via Slow-Thinking Large Language Models [12.745473719032026]
  本稿では、認知テーブル推論を実現するための新しいフレームワークSTaR(slow-thinking for table reasoning)を提案する。 STaRはステップバイステップ思考と不確実性認識推論を明示的にモデル化する。 ベンチマーク実験により、STaRは優れた性能を示し、推論安定性が向上した。
  論文  参考訳（メタデータ） (2025-11-14T12:34:17Z)
• Boosting Multi-modal Keyphrase Prediction with Dynamic Chain-of-Thought in Vision-Language Models [28.416254061159176]
  マルチモーダルキーフレーズ予測(MMKP)は、テキストのみの手法を超えて進歩することを目的としている。 従来のマルチモーダルアプローチは、困難な不在と目に見えないシナリオを扱う上で、重大な制限があることが証明されている。 MMKPタスクに視覚言語モデル(VLM)を活用することを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:13:07Z)
• From Query to Logic: Ontology-Driven Multi-Hop Reasoning in LLMs [10.358543961752027]
  我々は、LLMの生成能力と知識グラフの構造的利点を組み合わせたトレーニングなしのフレームワークである**ORACLE* (**O**ntology-driven **R**easoning **A**nd **C*hain for **L*ogical **E**ucidationを提案する。 実験の結果,私たちのフレームワークは,DeepSeek-R1のような最先端モデルに匹敵する,論理的に高い競争力を持つことがわかった。
  論文  参考訳（メタデータ） (2025-08-02T16:12:42Z)
• Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
  本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。 専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。 我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-05-27T04:08:11Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。