論文の概要: CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning
- arxiv url: http://arxiv.org/abs/2502.02390v1
- Date: Tue, 04 Feb 2025 15:10:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:21:56.276392
- Title: CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning
- Title（参考訳）: CoAT: 大規模言語モデル推論の強化を目的としたChain-of-associated-Thoughtsフレームワーク
- Authors: Jianfeng Pan, Senyou Deng, Shaomang Huang,
- Abstract要約: Chain-of-Associated-Thoughts (CoAT)フレームワークは、モンテカルロ木探索(MCTS)アルゴリズムと「連想記憶」と呼ばれる新しいキー情報を統合する動的メカニズムの革新的な相乗効果を導入している。
MCTSの構造的探索能力と連想記憶の適応学習能力を組み合わせることで、CoATはLLM検索空間を大幅に拡張し、多様な推論経路を探索し、その知識ベースをリアルタイムで動的に更新することを可能にする。
これらの実験により、我々のフレームワークは、精度、コヒーレンス、多様性に関する従来の推論プロセスより優れていることが示された。
- 参考スコア（独自算出の注目度）: 0.8192907805418583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research on LLM technologies is rapidly emerging, with most of them employing a 'fast thinking' approach to inference. Most LLMs generate the final result based solely on a single query and LLM's reasoning capabilities. However, with the advent of OpenAI-o1, 'slow thinking' techniques have garnered increasing attention because its process is closer to the human thought process. Inspired by the human ability to constantly associate and replenish knowledge during thinking, we developed the novel Chain-of-Associated-Thoughts (CoAT) framework, which introduces an innovative synergy between the Monte Carlo Tree Search (MCTS) algorithm and a dynamic mechanism for integrating new key information, termed 'associative memory'. By combining the structured exploration capabilities of MCTS with the adaptive learning capacity of associative memory, CoAT significantly expands the LLM search space, enabling our framework to explore diverse reasoning pathways and dynamically update its knowledge base in real-time. This allows the framework to not only revisit and refine earlier inferences but also adaptively incorporate evolving information, ensuring that the final output is both accurate and comprehensive. To validate the effectiveness of our framework, we conducted extensive experiments across a range of generative and reasoning tasks. These experiments demonstrated that our framework outperforms conventional inference processes on accuracy, coherence, and diversity. The framework's ability to iteratively expand its search space while retaining contextually relevant information results.
- Abstract（参考訳）: LLM技術の研究は急速に発展しており、そのほとんどは推論に「高速思考」アプローチを採用している。
ほとんどの LLM は単一のクエリと LLM の推論能力のみに基づいて最終結果を生成する。
しかし、OpenAI-o1の出現に伴い、人間の思考プロセスに近いことから「スロー思考」技術が注目されている。
これはモンテカルロ木探索(MCTS)アルゴリズムと「連想記憶」と呼ばれる新しいキー情報を統合する動的メカニズムの革新的な相乗効果をもたらすものである。
MCTSの構造的探索能力と連想記憶の適応学習能力を組み合わせることで、CoATはLLM検索空間を大幅に拡張し、多様な推論経路を探索し、その知識ベースをリアルタイムで動的に更新することを可能にする。
これにより、フレームワークは以前の推論を再検討し、洗練するだけでなく、進化する情報を適応的に組み込むことで、最終的な出力が正確かつ包括的であることを保証できる。
本フレームワークの有効性を検証するため,我々は多種多様な生成・推論タスクについて広範な実験を行った。
これらの実験により、我々のフレームワークは、精度、コヒーレンス、多様性に関する従来の推論プロセスより優れていることが示された。
このフレームワークの検索空間を反復的に拡張する能力は、文脈に関連のある情報結果を保持しながら維持する。
関連論文リスト
- IRIS: Interactive Research Ideation System for Accelerating Scientific Discovery [27.218896203253987]
IRISは、研究者が大規模言語モデル(LLM)を補助する科学的概念を活用するために設計されたオープンソースのプラットフォームである。
IRISは、モンテカルロ木探索(MCTS)による適応的なテスト時間計算拡張、きめ細かいフィードバック機構、クエリベースの文献合成など、アイデアを強化する革新的な機能を備えている。
我々は様々な分野の研究者とユーザスタディを行い、システムの有効性を検証し、アイデアの充実を図っている。
論文 参考訳（メタデータ） (2025-04-23T14:01:36Z) - Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。
ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。
広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
論文 参考訳（メタデータ） (2025-03-16T00:25:13Z) - A Survey on Post-training of Large Language Models [185.51013463503946]
大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。
これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。
本稿では,5つのコアパラダイムにまたがるPoLMの進化を体系的に追跡する,最初の包括的調査について述べる。
論文 参考訳（メタデータ） (2025-03-08T05:41:42Z) - Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす
本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。
我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
論文 参考訳（メタデータ） (2024-12-19T13:25:39Z) - Learning to Generate Research Idea with Dynamic Control [21.30777644522451]
大規模言語モデル (LLM) は仮説や研究のアイデアを生み出すことを約束している。
SFT(Supervised Fine-Tuning)とRL(Reinforcement Learning)を組み合わせた2段階のアプローチによる新しいフレームワークを提案する。
本フレームワークは, 新規性, 実現可能性, 有効性の間のトレードオフを動的にナビゲートすることで, 高品質な成果を達成し, 研究アイデアに対するバランスのとれたアプローチを提供する。
論文 参考訳（メタデータ） (2024-12-19T08:28:18Z) - LLMs can realize combinatorial creativity: generating creative ideas via LLMs for scientific research [5.564972490390789]
本稿では,Large Language Models (LLM) を用いた創造性理論を明示的に実装するフレームワークを提案する。
このフレームワークは、クロスドメイン知識発見のための一般化レベル検索システムと、アイデア生成のための構造化プロセスを備えている。
OAG-Benchデータセットの実験は、我々のフレームワークの有効性を実証し、実際の研究成果と整合したアイデアを生成するためのベースラインアプローチを一貫して上回っている。
論文 参考訳（メタデータ） (2024-12-18T18:41:14Z) - Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。
本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
論文 参考訳（メタデータ） (2024-11-18T16:15:17Z) - GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap [26.959633651475016]
大規模言語モデル(LLM)と進化的アルゴリズム(EA)の相互作用は、複雑な問題における適用可能性の共通の追求を共有している。
LLMに固有の豊富なドメイン知識により、EAはよりインテリジェントな検索を行うことができる。
本稿では、相互インスピレーションを2つの主要な道に分類する、徹底的なレビューと前方のロードマップを提供する。
論文 参考訳（メタデータ） (2024-01-18T14:58:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。