論文の概要: Augmenting Multi-Agent Communication with State Delta Trajectory
- arxiv url: http://arxiv.org/abs/2506.19209v1
- Date: Tue, 24 Jun 2025 00:38:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.421623
- Title: Augmenting Multi-Agent Communication with State Delta Trajectory
- Title(参考訳): 状態デルタ軌道を用いたマルチエージェント通信の高速化
- Authors: Yichen Tang, Weihang Su, Yujia Zhou, Yiqun Liu, Min Zhang, Shaoping Ma, Qingyao Ai,
- Abstract要約: 本稿では,自然言語トークンとトークンワイド状態遷移トラジェクトリの両方をひとつのエージェントから別のエージェントに転送する新しい通信プロトコルを提案する。
それぞれのトークンを生成した後のLSMの状態変化のシーケンスは、推論プロセスの裏側に隠された情報をよりよく反映できることがわかった。
実験の結果,SDEを用いたマルチエージェントシステムでは,他の通信プロトコルと比較してSOTAの性能が向上していることがわかった。
- 参考スコア(独自算出の注目度): 31.127137626348098
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Multi-agent techniques such as role playing or multi-turn debates have been shown to be effective in improving the performance of large language models (LLMs) in downstream tasks. Despite their differences in workflows, existing LLM-based multi-agent systems mostly use natural language for agent communication. While this is appealing for its simplicity and interpretability, it also introduces inevitable information loss as one model must down sample its continuous state vectors to concrete tokens before transferring them to the other model. Such losses are particularly significant when the information to transfer is not simple facts, but reasoning logics or abstractive thoughts. To tackle this problem, we propose a new communication protocol that transfers both natural language tokens and token-wise state transition trajectory from one agent to another. Particularly, compared to the actual state value, we find that the sequence of state changes in LLMs after generating each token can better reflect the information hidden behind the inference process, so we propose a State Delta Encoding (SDE) method to represent state transition trajectories. The experimental results show that multi-agent systems with SDE achieve SOTA performance compared to other communication protocols, particularly in tasks that involve complex reasoning. This shows the potential of communication augmentation for LLM-based multi-agent systems.
- Abstract(参考訳): ロールプレイングやマルチターン議論のようなマルチエージェント技術は、下流タスクにおける大規模言語モデル(LLM)の性能向上に有効であることが示されている。
ワークフローの違いにもかかわらず、既存のLLMベースのマルチエージェントシステムは、主にエージェント通信に自然言語を使用する。
これはその単純さと解釈可能性にアピールする一方で、あるモデルが別のモデルに渡す前に、その連続状態ベクトルを具体的なトークンにサンプル化しなければならないため、避けられない情報損失をもたらす。
このような損失は、伝達する情報が単純な事実ではなく、論理や抽象的思考を推論する場合に特に顕著である。
この問題に対処するために,自然言語トークンとトークン単位の状態遷移軌跡の両方を別のエージェントに転送する新しい通信プロトコルを提案する。
特に、実際の状態値と比較して、各トークンの生成後のLLMの状態変化のシーケンスは、推論プロセスの裏側に隠された情報をよりよく反映できるので、状態遷移軌跡を表現するための状態デルタ符号化(SDE)法を提案する。
実験の結果,SDEを用いたマルチエージェントシステムは,特に複雑な推論を伴うタスクにおいて,他の通信プロトコルと比較してSOTAの性能が向上していることがわかった。
このことは、LLMベースのマルチエージェントシステムにおける通信強化の可能性を示している。
関連論文リスト
- Token Communication in the Era of Large Models: An Information Bottleneck-Based Approach [55.861432910722186]
UniToComは、トークンを処理と無線通信の両方の基本的な単位として扱う統一トークン通信パラダイムである。
本稿では,重要な情報を保持するトークンの学習を容易にする生成情報ボトルネック(GenIB)の原理を提案する。
我々は、離散トークンと連続トークンの両方の処理を統合するために、因果変換器に基づくマルチモーダル言語モデル(MLLM)を受信機に採用する。
論文 参考訳(メタデータ) (2025-07-02T14:03:01Z) - Concept-Level AI for Telecom: Moving Beyond Large Language Models [1.7922382138350863]
大規模言語モデル(LLM)は、特定の通信問題に効果的に適用できる。
しかし、固有のトークン・バイ・トークン処理と拡張コンテキストを維持する能力の制限により、LLMはテレコム固有の要件を満たすのに苦労している。
本稿は、LCMの採用は単なる段階的なステップではなく、堅牢で効果的なAI駆動型通信管理の実現に向けた進化的な飛躍である、と論じる。
論文 参考訳(メタデータ) (2025-06-27T16:20:18Z) - Cooperative Multi-Agent Planning with Adaptive Skill Synthesis [16.228784877899976]
本稿では、視覚言語モデル(VLM)を動的スキルライブラリと統合し、分散化されたクローズドループ決定のための構造化通信を行う新しいマルチエージェントアーキテクチャを提案する。
デモからブートストラップされたスキルライブラリは、プラナー誘導タスクを通じて進化し、適応戦略を実現する。
我々は、その最先端のMARLベースラインに対して、対称シナリオと非対称シナリオの両方で強力な性能を示す。
論文 参考訳(メタデータ) (2025-02-14T13:23:18Z) - Virgo: A Preliminary Exploration on Reproducing o1-like MLLM [89.50691075011429]
スロー思考推論システムは、推論中の思考時間をスケールすることで、広く注目を集めている。
マルチモーダル大規模言語モデル(MLLM)への適応にも関心が高まっている。
本稿では,少量のテキスト長文思考データを用いて,有能なMLLMを微調整することで,簡単なアプローチを探索する。
自然言語で表現されたこれらの長文推論プロセスは,MLLMに効果的に転送できることがわかった。
論文 参考訳(メタデータ) (2025-01-03T17:14:16Z) - SpeechAgents: Human-Communication Simulation with Multi-Modal
Multi-Agent Systems [53.94772445896213]
大規模言語モデル(LLM)に基づくマルチエージェントシステムは,人間の社会をシミュレートする上で有望な性能を示した。
本研究では,マルチモーダルLLMに基づくマルチエージェントシステムであるSpeechAgentsを提案する。
論文 参考訳(メタデータ) (2024-01-08T15:01:08Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Multiple Representation Transfer from Large Language Models to
End-to-End ASR Systems [27.39706173574983]
大規模言語モデル(LLM)の知識の伝達は,言語知識をエンドツーエンドの自動音声認識(ASR)システムに組み込む上で有望な手法である。
LLMの複数の表現を転送することは、単一の表現のみを転送するより効果的な方法であることを示す。
論文 参考訳(メタデータ) (2023-09-07T21:57:39Z) - Large AI Model Empowered Multimodal Semantic Communications [48.73159237649128]
本稿では,Large AI Model-based Multimodal SC (LAMMSC) フレームワークを提案する。
まず、条件付きマルチモーダルアライメント(MMA)を提案し、マルチモーダルデータと非モーダルデータ間の変換を可能にする。
次に、パーソナライズされたLLMベースの知識ベース(LKB)を提案し、ユーザがパーソナライズされたセマンティック抽出やリカバリを行うことができる。
最後に,CGE(Generative Adversarial Network-based Channel Estimation)を用いて,無線チャネルの状態情報を推定する。
論文 参考訳(メタデータ) (2023-09-03T19:24:34Z) - Scalable Communication for Multi-Agent Reinforcement Learning via
Transformer-Based Email Mechanism [9.607941773452925]
コミュニケーションはマルチエージェント強化学習(MARL)における協調性を著しく向上させる
本稿では,部分的に観測されたタスクに対するMARL通信のスケーラビリティ問題に対処するための新しいフレームワークである Transformer-based Email Mechanism (TEM) を提案する。
論文 参考訳(メタデータ) (2023-01-05T05:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。