論文の概要: CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning

• arxiv url: http://arxiv.org/abs/2502.02390v1
• Date: Tue, 04 Feb 2025 15:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:25.702087
• Title: CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning
• Title（参考訳）: CoAT: 大規模言語モデル推論の強化を目的としたChain-of-associated-Thoughtsフレームワーク
• Authors: Jianfeng Pan, Senyou Deng, Shaomang Huang,
• Abstract要約: Chain-of-Associated-Thoughts (CoAT)フレームワークは、モンテカルロ木探索(MCTS)アルゴリズムと「連想記憶」と呼ばれる新しいキー情報を統合する動的メカニズムの革新的な相乗効果を導入している。 MCTSの構造的探索能力と連想記憶の適応学習能力を組み合わせることで、CoATはLLM検索空間を大幅に拡張し、多様な推論経路を探索し、その知識ベースをリアルタイムで動的に更新することを可能にする。 これらの実験により、我々のフレームワークは、精度、コヒーレンス、多様性に関する従来の推論プロセスより優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License:
• Abstract: Research on LLM technologies is rapidly emerging, with most of them employing a 'fast thinking' approach to inference. Most LLMs generate the final result based solely on a single query and LLM's reasoning capabilities. However, with the advent of OpenAI-o1, 'slow thinking' techniques have garnered increasing attention because its process is closer to the human thought process. Inspired by the human ability to constantly associate and replenish knowledge during thinking, we developed the novel Chain-of-Associated-Thoughts (CoAT) framework, which introduces an innovative synergy between the Monte Carlo Tree Search (MCTS) algorithm and a dynamic mechanism for integrating new key information, termed 'associative memory'. By combining the structured exploration capabilities of MCTS with the adaptive learning capacity of associative memory, CoAT significantly expands the LLM search space, enabling our framework to explore diverse reasoning pathways and dynamically update its knowledge base in real-time. This allows the framework to not only revisit and refine earlier inferences but also adaptively incorporate evolving information, ensuring that the final output is both accurate and comprehensive. To validate the effectiveness of our framework, we conducted extensive experiments across a range of generative and reasoning tasks. These experiments demonstrated that our framework outperforms conventional inference processes on accuracy, coherence, and diversity. The framework's ability to iteratively expand its search space while retaining contextually relevant information results.
• Abstract（参考訳）: LLM技術の研究は急速に発展しており、そのほとんどは推論に「高速思考」アプローチを採用している。 ほとんどの LLM は単一のクエリと LLM の推論能力のみに基づいて最終結果を生成する。 しかし、OpenAI-o1の出現に伴い、人間の思考プロセスに近いことから「スロー思考」技術が注目されている。 これはモンテカルロ木探索(MCTS)アルゴリズムと「連想記憶」と呼ばれる新しいキー情報を統合する動的メカニズムの革新的な相乗効果をもたらすものである。 MCTSの構造的探索能力と連想記憶の適応学習能力を組み合わせることで、CoATはLLM検索空間を大幅に拡張し、多様な推論経路を探索し、その知識ベースをリアルタイムで動的に更新することを可能にする。 これにより、フレームワークは以前の推論を再検討し、洗練するだけでなく、進化する情報を適応的に組み込むことで、最終的な出力が正確かつ包括的であることを保証できる。 本フレームワークの有効性を検証するため,我々は多種多様な生成・推論タスクについて広範な実験を行った。 これらの実験により、我々のフレームワークは、精度、コヒーレンス、多様性に関する従来の推論プロセスより優れていることが示された。 このフレームワークの検索空間を反復的に拡張する能力は、文脈に関連のある情報結果を保持しながら維持する。

関連論文リスト

• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Learning to Generate Research Idea with Dynamic Control [21.30777644522451]
  大規模言語モデル (LLM) は仮説や研究のアイデアを生み出すことを約束している。 SFT(Supervised Fine-Tuning)とRL(Reinforcement Learning)を組み合わせた2段階のアプローチによる新しいフレームワークを提案する。 本フレームワークは, 新規性, 実現可能性, 有効性の間のトレードオフを動的にナビゲートすることで, 高品質な成果を達成し, 研究アイデアに対するバランスのとれたアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-19T08:28:18Z)
• LLMs can Realize Combinatorial Creativity: Generating Creative Ideas via LLMs for Scientific Research [5.564972490390789]
  本稿では,Large Language Models (LLM) を用いた創造性理論を明示的に実装するフレームワークを提案する。 このフレームワークは、クロスドメイン知識発見のための一般化レベル検索システムと、アイデア生成のための構造化プロセスを備えている。 OAG-Benchデータセットの実験は、我々のフレームワークの有効性を実証し、実際の研究成果と整合したアイデアを生成するためのベースラインアプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-18T18:41:14Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Demystifying Chains, Trees, and Graphs of Thoughts [20.980650840083385]
  利用構造の基本クラスを特定することに集中し、これらの構造表現を分析する。 本研究は,提案した分類法を用いて既存のプロンプト方式と比較し,特定の設計選択が性能とコストの異なるパターンにどのように寄与するかを論じる。
  論文  参考訳（メタデータ） (2024-01-25T16:34:00Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。