論文の概要: Bridging the Reasoning Gap: Small LLMs Can Plan with Generalised Strategies

• arxiv url: http://arxiv.org/abs/2501.18817v1
• Date: Fri, 31 Jan 2025 00:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 22:46:12.874509
• Title: Bridging the Reasoning Gap: Small LLMs Can Plan with Generalised Strategies
• Title（参考訳）: 推論ギャップを埋める - 一般化戦略で小さなLLMを計画できる
• Authors: Andrey Borro, Patricia J Riddle, Michael W Barley, Michael J Witbrock,
• Abstract要約: 資源集約度が低いモデルの推論能力を高めるための2つの手法を提案する。 ひとつは、よりリソース集約的なモデルによって生成される、特定のドメイン内のタスクを解決するための一般的な戦略を提供することです。 もうひとつは、提案したソリューションの誤りを反復的に修正することで、コスト効率を悪用することである。
• 参考スコア（独自算出の注目度）: 0.9093413254392775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in the reasoning skills of Large Language Models (LLMs) demonstrate an increase in the ability of LLMs to solve simple planning tasks. However, as long as the driving force behind improved reasoning capability is the size and complexity of the model, the financial and computational costs associated with running them will also increase. This trend raises questions about continued accessibility and whether these improvements will increase at the same pace as models continue to grow in size and expense. We propose two approaches to enhance the reasoning ability of less resource-intensive LLMs. (1) Provide them with a generalised strategy for solving tasks within a given domain, generated by a more resource-intensive LLM. (2) Exploit their cost-effectiveness by iteratively prompting these models to correct errors in their proposed solutions. Our empirical results from planning and mathematical reasoning tasks demonstrate that these methods improve the performance of less resource-intensive LLMs to levels comparable with their more resource-intensive counterparts, at a fraction of the cost. Additionally, we show that the utilisation of generalised strategies in our experiments reduced the cost of the less resource-intensive model by nearly 30 percent on average.
• Abstract（参考訳）: LLM(Large Language Models)の推論能力の進歩は,LLMが簡単な計画課題を解く能力の向上を示している。 しかし、改良された推論能力の原動力がモデルのサイズと複雑さである限り、それらの実行に伴う金銭的・計算的コストも増大する。 この傾向は、アクセシビリティの継続と、モデルのサイズとコストが増加し続けるのと同じペースで、これらの改善が増加するかどうかに関する疑問を提起する。 資源集約の少ないLLMの推論能力を高めるための2つの手法を提案する。 1)より資源集約的なLCMによって生成される、与えられた領域内のタスクを解くための一般的な戦略を提供する。 2)提案手法の誤り訂正を反復的に促すことにより,コスト効率を向上する。 計画および数学的推論タスクによる実証的な結果から、これらの手法は、よりリソース集約的なLCMの性能を、よりリソース集約的なLCMに匹敵するレベルまで、コストのごく一部で向上することを示した。 さらに,本実験における一般化戦略の利用により,資源集約化の少ないモデルのコストを平均30%近く削減した。

関連論文リスト

• Lightweight Latent Verifiers for Efficient Meta-Generation Strategies [0.5892638927736115]
  検証は、ベース大言語モデル(LLM)によって生成された出力の正しさを評価する補助モデルである。 本研究では,LLMの隠れ状態から精度の高い正当性信号を確実に抽出する,新しい軽量検証手法LiLaVeを提案する。 LiLaVeの重要な利点は、従来のLCMベースの検証器が必要とする計算予算のごく一部でしか動作できないことである。
  論文  参考訳（メタデータ） (2025-04-23T14:33:20Z)
• A Survey of Scaling in Large Language Model Reasoning [62.92861523305361]
  大規模言語モデル(LLM)推論におけるスケーリングの総合的な検討について述べる。 我々は、多段階推論と論理的整合性を改善する推論ステップにおけるスケーリングを分析する。 我々は、反復モデルの改善による最適化に焦点を当て、トレーニング可能な推論のスケーリングについて論じる。
  論文  参考訳（メタデータ） (2025-04-02T23:51:27Z)
• Enhancing LLM Reasoning with Iterative DPO: A Comprehensive Empirical Investigation [29.579349371114702]
  DPO(Direct Preference Optimization)は、大規模言語モデル(LLM)のための強化学習(RL)に代わる費用効率の良い代替手段である。 粗いフィルタ付き1ラウンドのDPOが数学的推論性能を大幅に向上させることを示す。 単純な検証可能な報奨により,計算オーバーヘッドを大幅に低減したRLレベルの性能を実現する。
  論文  参考訳（メタデータ） (2025-03-17T06:28:25Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Universal Model Routing for Efficient LLM Inference [72.65083061619752]
  我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。 本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。 これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Unveiling the Secret Recipe: A Guide For Supervised Fine-Tuning Small LLMs [22.177654792824896]
  コスト効率とアクセシビリティのために,小型言語モデル(3Bから7Bパラメータ)に焦点を当てた。 オープンソースで事前トレーニングされた4つのモデルに対して,さまざまなトレーニング構成と戦略について検討する。 i) 学習率の低いバッチサイズと組み合わせることで,MMLUやMTBench,Open LLM Leaderboardといったベンチマーク上でのモデルパフォーマンスが向上します。
  論文  参考訳（メタデータ） (2024-12-17T21:16:59Z)
• Reinforcement Learning Enhanced LLMs: A Survey [45.57586245741664]
  我々はRL強化大言語モデル(LLM)に関する最新の知識の体系的なレビューを行う。 具体的には、RLの基礎を詳述し、(2)人気のRL強化LLMを導入し、(3)広く使われている報酬モデルに基づくRL技術であるReinforcement Learning from Human Feedback(RLHF)とReinforcement Learning from AI Feedback(RLAIF)についてレビューする。
  論文  参考訳（メタデータ） (2024-12-05T16:10:42Z)
• Efficient Reinforcement Learning with Large Language Model Priors [18.72288751305885]
  大規模言語モデル(LLM)は、最近、強力な汎用ツールとして登場した。 本稿では,従来の行動分布としてLLMを扱い,それらをRLフレームワークに統合することを提案する。 LLMに基づくアクションの事前処理を取り入れることで、探索と複雑性の最適化が大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2024-10-10T13:54:11Z)
• CPL: Critical Plan Step Learning Boosts LLM Generalization in Reasoning Tasks [2.9449838351181374]
  後学習,特に強化学習は,大規模言語モデル(LLM)の新しい学習パラダイムとなった モデル一般化を強化するための高レベルの抽象計画について,アクション空間内での探索を提案する。 GSM8KとMATHを専門にトレーニングした本手法は,性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-09-13T08:59:31Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning [28.077228879886402]
  強化学習(Reinforcement Learning, RL)は、報酬領域におけるサンプルの非効率性に悩まされ、移行時にはさらにその問題が顕著になる。 サンプル効率を改善するために、報酬形成はRLエージェントが最適なポリシーに迅速に収束するのに役立つ本質的な報酬を導入するためのよく研究されたアプローチである。
  論文  参考訳（メタデータ） (2024-05-24T03:53:57Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Thought of Search: Planning with Language Models Through The Lens of Efficiency [22.47015814897628]
  我々は近年の傾向が非効率性のために健全性と完全性の両方を放棄していると論じる。 本研究では,LLMを用いて検索コンポーネントのコードを生成することにより,全データセットを100%精度で解けることを示す。
  論文  参考訳（メタデータ） (2024-04-18T01:27:29Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。