論文の概要: Adaptive-Solver Framework for Dynamic Strategy Selection in Large Language Model Reasoning
- arxiv url: http://arxiv.org/abs/2310.01446v2
- Date: Mon, 23 Dec 2024 08:29:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:54:47.004523
- Title: Adaptive-Solver Framework for Dynamic Strategy Selection in Large Language Model Reasoning
- Title（参考訳）: 大規模言語モデル推論における動的戦略選択のための適応ソルバーフレームワーク
- Authors: Jianpeng Zhou, Wanjun Zhong, Yanlin Wang, Jiahai Wang,
- Abstract要約: 大きな言語モデル(LLM)は、推論タスクを扱う素晴らしい能力を示している。
LLMベースのほとんどの手法はワンサイズ・オールアプローチを採用している。
これらの手法の柔軟性は不要な計算オーバーヘッドや準最適性能をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 31.643337118330944
- License:
- Abstract: Large Language Models (LLMs) demonstrate impressive ability in handling reasoning tasks. However, unlike humans who can instinctively adapt their problem-solving strategies to the complexity of task, most LLM-based methods adopt a one-size-fits-all approach. These methods employ consistent models, sample sizes, prompting methods and levels of problem decomposition, regardless of the problem complexity. The inflexibility of these methods can bring unnecessary computational overhead or sub-optimal performance. To address this limitation, we introduce an Adaptive-Solver (AS) framework tha dynamically adapts solving strategies to suit various problems, enabling the flexible allocation of test-time computational resources. The framework functions with two primary modules. The initial evaluation module assesses the reliability of the current solution using answer consistency. If the solution is deemed unreliable, the subsequent adaptation module comes into play. Within this module, various types of adaptation strategies are employed collaboratively. Through such dynamic and multi-faceted adaptations, our framework can help reduce computational consumption and improve performance. Experimental results from complex reasoning benchmarks reveal that our method can significantly reduce API costs (up to 85%) while maintaining original performance. Alternatively, it achieves up to 4.5% higher accuracy compared to the baselines at the same cost. The code and dataset are available at https://github.com/john1226966735/Adaptive-Solver.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、推論タスクを扱う素晴らしい能力を示している。
しかしながら、タスクの複雑さに直感的に問題解決戦略を適応できる人間とは異なり、ほとんどのLCMベースの手法は1つの大きさのアプローチを採用する。
これらの手法は、問題の複雑さに関わらず、一貫したモデル、サンプルサイズ、問題の解法とレベルを取り入れている。
これらの手法の柔軟性は不要な計算オーバーヘッドや準最適性能をもたらす可能性がある。
この制限に対処するために,様々な問題に適合する解法戦略を動的に適用するAdaptive-Solver (AS) フレームワークを導入し,テスト時間計算資源の柔軟な割り当てを可能にする。
フレームワークは2つの主要なモジュールで機能する。
初期評価モジュールは、応答整合性を用いて現在のソリューションの信頼性を評価する。
解が信頼できないと判断された場合、その後の適応モジュールが再生される。
このモジュール内では、様々なタイプの適応戦略が協調的に採用されている。
このような動的かつ多面的な適応により、我々のフレームワークは計算消費の削減と性能の向上に役立てることができる。
複雑な推論ベンチマークによる実験結果から,本手法はオリジナル性能を維持しながら,APIコスト(最大85%)を大幅に削減できることがわかった。
もしくは、同じコストでベースラインよりも最大4.5%高い精度を達成する。
コードとデータセットはhttps://github.com/john1226966735/Adaptive-Solverで公開されている。
関連論文リスト
- Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。
本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。
精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
論文 参考訳（メタデータ） (2024-12-30T18:55:12Z) - Closed-form merging of parameter-efficient modules for Federated Continual Learning [9.940242741914748]
一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。
これにより、未知の変数を個別に解くことができ、ユニークな解を見つけることができる。
本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
論文 参考訳（メタデータ） (2024-10-23T15:30:13Z) - LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-03T18:12:29Z) - Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。
LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。
訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
論文 参考訳（メタデータ） (2024-10-01T16:10:21Z) - Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。
従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。
本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
論文 参考訳（メタデータ） (2024-02-01T08:58:57Z) - Improving Large Language Model Fine-tuning for Solving Math Problems [20.417053742869403]
大きな言語モデルのパス・アット・ワン(pass-at-one)とパス・アット・N(pass-at-N)のパフォーマンスの間には大きなギャップがある。
挑戦的なMATHデータセットを用いて3つの微調整戦略を検討する。
我々は、微調整されたPaLM 2-Lモデルを用いて、MATHデータセット上で約58.8%の精度が得られる微調整レシピを設計する。
論文 参考訳（メタデータ） (2023-10-16T04:11:19Z) - Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control
Approach [0.3093890460224435]
我々は、新しい強化学習手法を用いて、人気のあるWordleパズルの解法に対処する。
Wordleパズルでは、比較的控えめな計算コストで最適に近いオンラインソリューション戦略が得られる。
論文 参考訳（メタデータ） (2022-11-15T03:46:41Z) - Learning Adaptive Evolutionary Computation for Solving Multi-Objective
Optimization Problems [3.3266268089678257]
本稿では, 深層強化学習(DRL)を用いた適応パラメータ制御とMOEAを統合したフレームワークを提案する。
DRLポリシは、最適化中のソリューションに対する突然変異の強度と確率を決定する値を適応的に設定するように訓練されている。
学習されたポリシーは転送可能であることを示す。つまり、単純なベンチマーク問題で訓練されたポリシーは、複雑な倉庫最適化問題を解決するために直接適用可能である。
論文 参考訳（メタデータ） (2022-11-01T22:08:34Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-06-14T06:28:04Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z) - Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。
提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文 参考訳（メタデータ） (2020-03-23T17:55:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。