論文の概要: HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

• arxiv url: http://arxiv.org/abs/2409.17433v1
• Date: Wed, 25 Sep 2024 23:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 23:50:22.750934
• Title: HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows
• Title（参考訳）: HDFlow: ハイブリッド思考と動的ワークフローによるLLM複雑な問題解決
• Authors: Wenlin Yao, Haitao Mi, Dong Yu,
• Abstract要約: 大規模言語モデル(LLM)を用いた複雑な推論のための新しいフレームワーク HDFlow を提案する。 このアプローチは,1) 複雑な問題をより管理可能なサブタスクに自動的に分解するDynamicという,ゆっくりと意図的な推論のための新しいアプローチ,2) 問題複雑性に基づいた高速で遅い思考を動的に結合するHybrid Thinkingという2つの主要なコンポーネントから構成される。 4つの推論ベンチマークの実験により、動的データセットによる遅い思考がChain-of-Thoughtを著しく上回り、ハイブリッド思考は計算効率と性能の効果的なバランスを保ちながら、最も高い精度を達成することが示された。
• 参考スコア（独自算出の注目度）: 33.035088506211096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMs\footnote{Code and data will be released at \url{https://github.com/wenlinyao/HDFlow}.}.
• Abstract（参考訳）: 近年の大規模言語モデル(LLM)の進歩にもかかわらず、多段階思考と様々なスキルの組み合わせを必要とする複雑な推論問題の性能は依然として限られている。 そこで本研究では,高速かつ低速な思考モードを適応的に組み合わせたLLMを用いた複雑な推論のための新しいフレームワークHDFlowを提案する。 私たちのアプローチは2つの重要なコンポーネントで構成されています。 複雑な問題をより管理可能なサブタスクに自動的に分解し、特別なLCMやシンボリック推論ツールを組み立ててサブタスクを解決するワークフローを動的に設計する。 2) ハイブリット・シンキング(Hybrid Thinking)は、問題複雑性に基づいた、高速で遅い思考を動的に結合する一般的なフレームワークである。 最後に、複雑な推論のための推論問題に挑戦する27Kの大規模データセットの自動合成方法と、このデータセット上でより小さなLCMを訓練し、高速かつスローなハイブリッド推論戦略を内在化するハイブリッド思考チューニング手法を提案する。 4つの推論ベンチマークデータセットの実験により、動的ワークフローによる遅い思考がChain-of-Thoughtを著しく上回り、ハイブリッド思考は計算効率と性能の効果的なバランスを保ちながら、最も高い精度を達成することが示された。 ハイブリッド思考アプローチによる微調整も、オープンソース言語モデルの複雑な推論能力を著しく向上させます。 LLMs\footnote{Code and data will release at \url{https://github.com/wenlinyao/HDFlow}。 と。

関連論文リスト

• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• DynaThink: Fast or Slow? A Dynamic Decision-Making Framework for Large Language Models [42.95876831743256]
  大規模言語モデル(LLM)は、Chains-of-Thoughtプロンプトを通じて、さまざまな推論タスクにまたがる創発的な機能を示している。 本稿では,LLMが高速かつ低速な推論手法を自律的に選択できることの課題に対処する。 LLMが高速に高信頼の解を識別するタスクに指定された「Fast」と、LLMが複雑だと認識するタスクに割り当てられた「Slow」という2つの異なる経路に分類する動的意思決定フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-07-01T06:45:13Z)
• Efficient Orchestrated AI Workflows Execution on Scale-out Spatial Architecture [17.516934379812994]
  さまざまなタスクをロジック駆動型決定と統合し、動的で洗練されたAIを提供する。 我々は,オーケストレーションされた空間グラフを用いて,オーケストレーションされたAIの本質的なデュアルダイナミクスを効果的に表現できることを見出した。 我々の評価は、オーケストレーションAIの動的な要求に対処する上で、従来のアーキテクチャよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-21T14:09:31Z)
• Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning [16.495754104540605]
  大規模言語モデル(LLM)は、視覚的推論のような複雑な推論タスクのためのコードライクな計画を生成することができる。 ワンストップ推論 (fast) とツリー・オブ・シント (slow) を統合した階層型計画探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-18T16:21:40Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• SwiftSage: A Generative Agent with Fast and Slow Thinking for Complex Interactive Tasks [81.9962823875981]
  我々は、人間の認知の二重プロセス理論に触発された新しいエージェントフレームワークSwiftSageを紹介する。 フレームワークは、高速で直感的な思考を表すSwiftモジュールと、意図的な思考プロセスをエミュレートするSageモジュールの2つの主要なモジュールで構成されている。 ScienceWorldベンチマークの30タスクでは、SwiftSageはSayCan、ReAct、Reflexといった他のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-05-27T07:04:15Z)
• Multi-intersection Traffic Optimisation: A Benchmark Dataset and a Strong Baseline [85.9210953301628]
  交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。 問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。 エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2021-01-24T03:55:39Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。