論文の概要: Meta-Thinking in LLMs via Multi-Agent Reinforcement Learning: A Survey

• arxiv url: http://arxiv.org/abs/2504.14520v1
• Date: Sun, 20 Apr 2025 07:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 00:03:05.759636
• Title: Meta-Thinking in LLMs via Multi-Agent Reinforcement Learning: A Survey
• Title（参考訳）: マルチエージェント強化学習によるLCMのメタシンキング:調査
• Authors: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Muhammad Awais Khan Bangash, Muhammad Ali Jamshed,
• Abstract要約: 本稿では,MARL(Multi-Agent Reinforcement Learning)の観点から,大規模言語モデル(LLM)におけるメタ思考機能の開発について検討する。 MARLにおける報酬メカニズム、自己プレー、継続的な学習手法を探求することにより、この調査はイントロスペクティブで適応的で信頼性の高いLLMを構築するための包括的なロードマップを提供する。
• 参考スコア（独自算出の注目度）: 2.572335031488049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This survey explores the development of meta-thinking capabilities in Large Language Models (LLMs) from a Multi-Agent Reinforcement Learning (MARL) perspective. Meta-thinking self-reflection, assessment, and control of thinking processes is an important next step in enhancing LLM reliability, flexibility, and performance, particularly for complex or high-stakes tasks. The survey begins by analyzing current LLM limitations, such as hallucinations and the lack of internal self-assessment mechanisms. It then talks about newer methods, including RL from human feedback (RLHF), self-distillation, and chain-of-thought prompting, and each of their limitations. The crux of the survey is to talk about how multi-agent architectures, namely supervisor-agent hierarchies, agent debates, and theory of mind frameworks, can emulate human-like introspective behavior and enhance LLM robustness. By exploring reward mechanisms, self-play, and continuous learning methods in MARL, this survey gives a comprehensive roadmap to building introspective, adaptive, and trustworthy LLMs. Evaluation metrics, datasets, and future research avenues, including neuroscience-inspired architectures and hybrid symbolic reasoning, are also discussed.
• Abstract（参考訳）: 本稿では,MARL(Multi-Agent Reinforcement Learning)の観点から,大規模言語モデル(LLM)におけるメタ思考機能の開発について検討する。 メタ思考による自己回帰、思考プロセスの評価、制御は、特に複雑なタスクや高いタスクにおいて、LLMの信頼性、柔軟性、パフォーマンスを高めるための重要な次のステップである。 調査は、幻覚や内部自己評価機構の欠如など、現在のLCMの限界を分析することから始まる。 次に、人間のフィードバック(RLHF)からのRL、自己蒸留、思考の連鎖、それぞれの制限など、新しい方法について話します。 調査の要点は、マルチエージェントアーキテクチャ(スーパーバイザーエージェント階層、エージェント討論、マインドフレームワークの理論)が、人間のような内省的振る舞いをエミュレートし、LLMの堅牢性を高める方法について論じることである。 MARLにおける報酬メカニズム、自己プレー、継続的な学習手法を探求することにより、この調査はイントロスペクティブで適応的で信頼性の高いLLMを構築するための包括的なロードマップを提供する。 神経科学に触発されたアーキテクチャやハイブリッドシンボリック推論を含む評価指標、データセット、将来の研究方法についても論じる。

関連論文リスト

• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Review of Case-Based Reasoning for LLM Agents: Theoretical Foundations, Architectural Components, and Cognitive Integration [0.0]
  ケースベース推論(CBR)は、過去の経験を参照することによって、新しい問題を解決する戦略である。 本稿では、過去の経験を参照して新しい問題を解決する戦略であるケースベース推論(CBR)を大規模言語モデルに組み込む方法について考察する。
  論文  参考訳（メタデータ） (2025-04-09T14:51:02Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [54.787341008881036]
  Reinforced Meta-thinking Agents(ReMA)は,MARL(Multi-Agent Reinforcement Learning)を利用したメタ思考行動の抽出手法である。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 実験の結果、ReMAは複雑な推論タスクにおいて単一エージェントRLベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• The Evolving Landscape of LLM- and VLM-Integrated Reinforcement Learning [7.092323056639036]
  強化学習(RL)は、逐次意思決定タスクにおいて印象的な結果を示した。 大規模言語モデル (LLM) と視覚言語モデル (VLM) が登場し、マルチモーダル理解と推論において印象的な能力を発揮している。 本稿では,これらのLLM/VLM支援RLアプローチをエージェント,プランナー,報酬の3つの役割に分類する分類法を提案する。
  論文  参考訳（メタデータ） (2025-02-21T05:01:30Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• A Survey on Large Language Models with some Insights on their Capabilities and Limitations [0.3222802562733786]
  大規模言語モデル(LLM)は、様々な言語関連タスクで顕著なパフォーマンスを示す。 LLMは、そのコア機能を超えて、創発的な能力を示す。 本稿では,これらの機能を実現する基盤となるコンポーネント,スケーリング機構,アーキテクチャ戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-03T21:04:49Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。