論文の概要: DroidSpeak: Enhancing Cross-LLM Communication

• arxiv url: http://arxiv.org/abs/2411.02820v1
• Date: Tue, 05 Nov 2024 05:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:02:04.299820
• Title: DroidSpeak: Enhancing Cross-LLM Communication
• Title（参考訳）: DroidSpeak: クロスLLM通信の強化
• Authors: Yuhan Liu, Esha Choukse, Shan Lu, Junchen Jiang, Madan Musuvathi,
• Abstract要約: 我々は,このクロスLLM通信をターゲットとする新しいフレームワークであるDroidSpeakを紹介する。 我々は、同じ基礎モデルの微調整されたバージョンに対して、コンテキスト全体を再処理する必要性を効率的に回避する。 我々の発見は、より効率的でスケーラブルなマルチエージェントシステムを構築する可能性を示している。
• 参考スコア（独自算出の注目度）: 15.901409892276288
• License:
• Abstract: In multi-agent systems utilizing Large Language Models (LLMs), communication between agents traditionally relies on natural language. This communication often includes the full context of the query so far, which can introduce significant prefill-phase latency, especially with long contexts. We introduce DroidSpeak, a novel framework to target this cross-LLM communication by leveraging the reuse of intermediate data, such as input embeddings (E-cache) and key-value caches (KV-cache). We efficiently bypass the need to reprocess entire contexts for fine-tuned versions of the same foundational model. This approach allows faster context integration while maintaining the quality of task performance. Experimental evaluations demonstrate DroidSpeak's ability to significantly accelerate inter-agent communication, achieving up to a 2.78x speedup in prefill latency with negligible loss in accuracy. Our findings underscore the potential to create more efficient and scalable multi-agent systems.
• Abstract（参考訳）: LLM(Large Language Models)を利用したマルチエージェントシステムでは、エージェント間の通信は伝統的に自然言語に依存している。 このコミュニケーションには、クエリの完全なコンテキストが含まれており、特に長いコンテキストにおいて、大きなプレフィルフェイズレイテンシを発生させる可能性がある。 本稿では,入力埋め込み (E-cache) やキー値キャッシュ (KV-cache) などの中間データの再利用を活用することで,このLLM通信をターゲットとする新たなフレームワークであるDroidSpeakを紹介する。 我々は、同じ基礎モデルの微調整されたバージョンに対して、コンテキスト全体を再処理する必要性を効率的に回避する。 このアプローチは、タスクパフォーマンスの品質を維持しながら、より高速なコンテキスト統合を可能にする。 実験的評価では、DroidSpeakはエージェント間通信を著しく高速化し、プリフィル遅延で最大2.78倍のスピードアップを達成でき、精度は無視できる。 我々の発見は、より効率的でスケーラブルなマルチエージェントシステムを構築する可能性を示している。

関連論文リスト

• Remote Timing Attacks on Efficient Language Model Inference [63.79839291641793]
  タイミング差を利用してタイミングアタックをマウントできることが示される。 90%以上の精度でユーザの会話の話題を学習することができるかを示す。 相手はブースティング攻撃を利用して、オープンソースのシステム用のメッセージに置かれたPIIを回復することができる。
  論文  参考訳（メタデータ） (2024-10-22T16:51:36Z)
• Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
  モデルに依存しない長期対話エージェント(LD-Agent)を導入する。 イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。 LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-06-09T21:58:32Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• TESS: A Multi-intent Parser for Conversational Multi-Agent Systems with Decentralized Natural Language Understanding Models [6.470108226184637]
  マルチエージェントシステムは、ユーザ意図の自然言語理解を複雑にする。 本稿では,ユーザからの多目的発話を効率的に解析・オーケストレーションするパイプラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:39:23Z)
• Communication-Efficient Federated Optimization over Semi-Decentralized Networks [42.11743453542266]
  通信効率は、大規模ネットワークにおいて最も困難なボトルネックの1つである。 本稿では,エージェント間通信とエージェント間通信の両方を行う半分散通信プロトコルの通信効率について検討する。
  論文  参考訳（メタデータ） (2023-11-30T18:37:15Z)
• Leveraging Timestamp Information for Serialized Joint Streaming Recognition and Translation [51.399695200838586]
  本稿では,マルチ・ツー・ワン・ワン・マン・ワン・ツー・マンの同時生成が可能なストリーミングトランスフォーマー・トランスデューサ(T-T)モデルを提案する。 実験では,1個のデコーダで1対1のジョイント出力を初めて生成し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-23T11:00:27Z)
• Towards Efficient Dialogue Pre-training with Transferable and Interpretable Latent Structure [77.30953347462452]
  本稿では、汎用ドメインから下流タスクへ、軽量で透過的な方法で容易に転送可能な潜在構造を持つ対話生成モデルを提案する。 伝達可能な潜在構造のおかげで,我々のモデルは,自動評価と人的評価の両面において,4つの強いベースラインよりも優れた対話応答が得られる。
  論文  参考訳（メタデータ） (2022-10-22T14:46:43Z)
• Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling [57.271494741212166]
  本稿では,通信時間最小化問題を定式化し,解決する。 最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。 提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
  論文  参考訳（メタデータ） (2021-07-24T11:39:17Z)
• Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning [5.612141846711729]
  エージェント間通信は、コーディネーションを必要とするマルチエージェントタスクのパフォーマンスを著しく向上させることができる。 通信が帯域幅、電力、ネットワーク容量といったシステムの制約によって制限されるような現実世界のアプリケーションでは、送信されるメッセージの数を減らす必要がある。 性能を損なうことなく、コミュニケーションを75%削減できることを示す。
  論文  参考訳（メタデータ） (2021-06-15T23:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。