論文の概要: Group Think: Multiple Concurrent Reasoning Agents Collaborating at Token Level Granularity

• arxiv url: http://arxiv.org/abs/2505.11107v1
• Date: Fri, 16 May 2025 10:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.760155
• Title: Group Think: Multiple Concurrent Reasoning Agents Collaborating at Token Level Granularity
• Title（参考訳）: グループシンク:トークンレベルの粒度で協調する複数並行推論エージェント
• Abstract要約: グループ思考は、複数の並行推論エージェントとして機能する単一の大きな言語モデルである。 グループシンクは、互いに部分的な生成の進捗を共通的に可視化することで、新しい並行推論パラダイムを導入している。 このきめ細かいトークンレベルのコラボレーションにより、Group Thinkは冗長な推論を削減し、レイテンシを大幅に低減しつつ、品質を向上させることができる。
• 参考スコア（独自算出の注目度）: 17.41482851429631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have demonstrated the power of reasoning through self-generated chains of thought. Multiple reasoning agents can collaborate to raise joint reasoning quality above individual outcomes. However, such agents typically interact in a turn-based manner, trading increased latency for improved quality. In this paper, we propose Group Think--a single LLM that acts as multiple concurrent reasoning agents, or thinkers. With shared visibility into each other's partial generation progress, Group Think introduces a new concurrent-reasoning paradigm in which multiple reasoning trajectories adapt dynamically to one another at the token level. For example, a reasoning thread may shift its generation mid-sentence upon detecting that another thread is better positioned to continue. This fine-grained, token-level collaboration enables Group Think to reduce redundant reasoning and improve quality while achieving significantly lower latency. Moreover, its concurrent nature allows for efficient utilization of idle computational resources, making it especially suitable for edge inference, where very small batch size often underutilizes local~GPUs. We give a simple and generalizable modification that enables any existing LLM to perform Group Think on a local GPU. We also present an evaluation strategy to benchmark reasoning latency and empirically demonstrate latency improvements using open-source LLMs that were not explicitly trained for Group Think. We hope this work paves the way for future LLMs to exhibit more sophisticated and more efficient collaborative behavior for higher quality generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、思考の自己生成連鎖を通して推論する能力を示している。 複数の推論エージェントが協力して、個々の結果よりも共同推論品質を高めることができる。 しかし、そのようなエージェントは通常ターンベースで相互作用し、品質を改善するために遅延を増大させる。 本稿では,複数の推論エージェントや思考者として機能する単一LSMであるグループシンクを提案する。 グループシンクは、互いに部分的な生成の進捗を共通的に可視化することで、トークンレベルで複数の推論軌道が動的に互いに適応する、新しい並行推論パラダイムを導入している。 例えば、推論スレッドは、別のスレッドが継続するよりよい位置にあることを検出すると、その生成の途中でシフトする可能性がある。 このきめ細かいトークンレベルのコラボレーションにより、Group Thinkは冗長な推論を削減し、レイテンシを大幅に低減しつつ、品質を向上させることができる。 さらに、その並列性により、アイドル計算資源の効率的な利用が可能となり、特にエッジ推論に適している。 我々は、既存のLLMがローカルGPU上でグループシンクを実行することができる、シンプルで一般化可能な修正を提供する。 また、推論遅延をベンチマークし、グループ思考で明示的に訓練されていないオープンソースのLCMを用いて遅延改善を経験的に実証する評価戦略を提案する。 この作業は、将来のLLMがより洗練され、より効率的な協調行動を示すための道を開くことを願っている。

関連論文リスト

• Multi-Branch Policy Optimization for Multimodal Large Language Models [21.856599797665833]
  マルチモーダルな大規模言語モデルに対するグループベース強化学習法は、トラジェクトリレベルの信用代入に依存している。 マルチモーダル推論は、テキストのみの設定よりも知覚の不確実性が高い。 視覚言語決定境界における推論木を構築する木ベースのフレームワークであるMulti-Branch Policy Optimization (MBPO)を提案する。
  論文  参考訳（メタデータ） (2026-08-05T04:00:09Z)
• Breaking $\ extit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Tandem: Riding Together with Large and Small Language Models for Efficient Reasoning [37.624319973066925]
  計算コストを大幅に削減した高品質な推論を実現するために,タンデムを提案する。 このフレームワークは、大小の言語モデル(LLMとSLM)を相乗化し、高品質な推論を実現する。 数学的推論とコード生成ベンチマークの実験により、タンデムは計算コストを約40%削減することを示した。
  論文  参考訳（メタデータ） (2026-04-26T09:33:51Z)
• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• Diffuse Thinking: Exploring Diffusion Language Models as Efficient Thought Proposers for Reasoning [11.437063355666593]
  そこで我々は,DLMを有効活用した効率的な協調推論フレームワークを提案し,その品質を評価するために,候補思考とLLMを生成する。 我々のフレームワークは複雑な推論タスクにおいて高いパフォーマンスを達成し、将来の研究に有望な方向性を提供する。
  論文  参考訳（メタデータ） (2025-10-31T13:41:30Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• HiddenBench: Assessing Collective Reasoning in Multi-Agent LLMs via Hidden Profile Tasks [12.203366267017737]
  マルチエージェント LLM における集合的推論を評価するための最初のベンチマークである HiddenBench を紹介する。 ベンチマークを基礎として,このパラダイムをカスタムタスクで形式化し,GPT-4.1グループが分散知識の統合に失敗したことを示す。 次に、カスタムデザイン、先行研究、自動生成から引き出された65のタスクにまたがる完全なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-05-15T19:22:54Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• MAPoRL: Multi-Agent Post-Co-Training for Collaborative Large Language Models with Reinforcement Learning [26.736078756799635]
  新しいポストトレーニングパラダイムMAPoRL(強化学習を用いた協調LLMのためのマルチエージェントポストトレーニング)を導入する。 MAPoRLでは、複数のLLMが独立して独自の応答を生成し、最終回答を協調的に改善するためのマルチターンディスカッションを行う。 MAPoRL検証器は、回答の正しさを検証するスコアを割り当てることで、回答と議論の両方を評価する。 スコアはコトレーニング報酬として機能し、マルチエージェントRLによって最大化される。
  論文  参考訳（メタデータ） (2025-02-25T18:33:48Z)
• AdaSwitch: Adaptive Switching between Small and Large Agents for Effective Cloud-Local Collaborative Learning [36.37717583840935]
  本研究では,大規模クラウドベースLLMと小規模ローカルデプロイLLMの協調運用を容易にする新しいLCM利用パラダイムを提案する。 本フレームワークは,比較的小型のLLMをインスタンス化したローカルエージェントと,大型のLLMを搭載したクラウドエージェントの2つの主要モジュールから構成される。 この協調処理は、ローカルエージェントがエラーを内観的に識別し、クラウドエージェントから積極的に支援を求める適応機構によって実現される。
  論文  参考訳（メタデータ） (2024-10-17T03:07:37Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。