論文の概要: Enhancing Reasoning Capabilities of Small Language Models with Blueprints and Prompt Template Search

• arxiv url: http://arxiv.org/abs/2506.08669v1
• Date: Tue, 10 Jun 2025 10:30:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.28151
• Title: Enhancing Reasoning Capabilities of Small Language Models with Blueprints and Prompt Template Search
• Title（参考訳）: Blueprint と Prompt Template Search を用いた小言語モデルの推論機能強化
• Authors: Dongge Han, Menglin Xia, Daniel Madrigal Diaz, Samuel Kessler, Ankur Mallick, Xuchao Zhang, Mirian Del Carmen Hipolito Garcia, Jin Xu, Victor Rühle, Saravan Rajmohan,
• Abstract要約: 小型言語モデル(SLM)は、大規模言語モデル(LLM)に対する有望で効率的な代替手段を提供する。 我々のフレームワークは、SLMの感度を軽減し、変化を促すプロンプトテンプレート検索機構を統合している。 提案手法は,モデルのサイズを拡大したり,追加のトレーニングを必要とせずに,SLMの推論能力を向上させる。
• 参考スコア（独自算出の注目度）: 18.317836598695706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small language models (SLMs) offer promising and efficient alternatives to large language models (LLMs). However, SLMs' limited capacity restricts their reasoning capabilities and makes them sensitive to prompt variations. To address these challenges, we propose a novel framework that enhances SLM reasoning capabilities through LLM generated blueprints. The blueprints provide structured, high-level reasoning guides that help SLMs systematically tackle related problems. Furthermore, our framework integrates a prompt template search mechanism to mitigate the SLMs' sensitivity to prompt variations. Our framework demonstrates improved SLM performance across various tasks, including math (GSM8K), coding (MBPP), and logic reasoning (BBH). Our approach improves the reasoning capabilities of SLMs without increasing model size or requiring additional training, offering a lightweight and deployment-friendly solution for on-device or resource-constrained environments.
• Abstract（参考訳）: 小型言語モデル (SLM) は、大規模言語モデル (LLM) に対する有望で効率的な代替手段を提供する。 しかし、SLMの限られた能力は推論能力を制限し、変化を促すのに敏感にする。 これらの課題に対処するために,LLM生成した青写真を通してSLM推論能力を向上させる新しいフレームワークを提案する。 ブループリントは構造化された高レベルの推論ガイドを提供し、SLMが関連する問題に体系的に対処するのに役立つ。 さらに,本フレームワークは,SLMの感度を緩和し,変動を緩和するプロンプトテンプレート検索機構を統合している。 本フレームワークは,数学(GSM8K),コーディング(MBPP),論理推論(BBH)など,様々なタスクにおけるSLM性能の向上を示す。 当社のアプローチでは,モデルサイズを向上したり,追加のトレーニングを必要とすることなく,SLMの推論能力を改善し,オンデバイスやリソース制約のある環境に軽量でデプロイしやすいソリューションを提供する。

関連論文リスト

• Guiding Reasoning in Small Language Models with LLM Assistance [23.3038074903744]
  小さな言語モデルは、深く、多段階の論理的推論を必要とするタスクに適していると疑念を抱いた。 本稿では,Small Reasons, Large Hintsというフレームワークについて紹介する。 数学的推論データセットを用いた実験により, ターゲットとなる外部足場の性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-04-14T06:32:45Z)
• Optimal Decision Making Through Scenario Simulations Using Large Language Models [0.0]
  大規模言語モデル(LLM)は、複雑な問題へのアプローチと解決の方法を変えました。 本稿では,この能力ギャップを橋渡しする革新的な手法を提案する。 LLMがユーザから複数のオプションとそれぞれのパラメータをリクエストできるようにすることで、動的フレームワークを導入しています。 この関数は提供された選択肢を分析し、潜在的な結果をシミュレートし、最も有利な解を決定するように設計されている。
  論文  参考訳（メタデータ） (2024-07-09T01:23:09Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• When Emotional Stimuli meet Prompt Designing: An Auto-Prompt Graphical Paradigm [43.2625101868969]
  本稿では,大規模言語モデル (LLM) の素早い単語を要約する。 次に、刺激とフレームワークのプロンプトを組み合わせたオートプロンプトグラフィカルパラダイム(APGP)を提案する。 このフレームワークは、感情刺激因子の自動生成と考慮を含む。
  論文  参考訳（メタデータ） (2024-04-16T12:19:08Z)
• Towards Pareto Optimal Throughput in Small Language Model Serving [4.497936996651617]
  SLM(Small Language Models)は、リソース制約のあるユーザに対して、新たな機会を提供する。 本研究では,SLM推論を性能およびエネルギーレベルで評価するための一連の実験について述べる。
  論文  参考訳（メタデータ） (2024-04-04T10:45:07Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。