論文の概要: DroidSpeak: Enhancing Cross-LLM Communication

• arxiv url: http://arxiv.org/abs/2411.02820v1
• Date: Tue, 05 Nov 2024 05:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:02:04.299820
• Title: DroidSpeak: Enhancing Cross-LLM Communication
• Title（参考訳）: DroidSpeak: クロスLLM通信の強化
• Authors: Yuhan Liu, Esha Choukse, Shan Lu, Junchen Jiang, Madan Musuvathi,
• Abstract要約: 我々は,このクロスLLM通信をターゲットとする新しいフレームワークであるDroidSpeakを紹介する。 我々は、同じ基礎モデルの微調整されたバージョンに対して、コンテキスト全体を再処理する必要性を効率的に回避する。 我々の発見は、より効率的でスケーラブルなマルチエージェントシステムを構築する可能性を示している。
• 参考スコア（独自算出の注目度）: 15.901409892276288
• License:
• Abstract: In multi-agent systems utilizing Large Language Models (LLMs), communication between agents traditionally relies on natural language. This communication often includes the full context of the query so far, which can introduce significant prefill-phase latency, especially with long contexts. We introduce DroidSpeak, a novel framework to target this cross-LLM communication by leveraging the reuse of intermediate data, such as input embeddings (E-cache) and key-value caches (KV-cache). We efficiently bypass the need to reprocess entire contexts for fine-tuned versions of the same foundational model. This approach allows faster context integration while maintaining the quality of task performance. Experimental evaluations demonstrate DroidSpeak's ability to significantly accelerate inter-agent communication, achieving up to a 2.78x speedup in prefill latency with negligible loss in accuracy. Our findings underscore the potential to create more efficient and scalable multi-agent systems.
• Abstract（参考訳）: LLM(Large Language Models)を利用したマルチエージェントシステムでは、エージェント間の通信は伝統的に自然言語に依存している。 このコミュニケーションには、クエリの完全なコンテキストが含まれており、特に長いコンテキストにおいて、大きなプレフィルフェイズレイテンシを発生させる可能性がある。 本稿では,入力埋め込み (E-cache) やキー値キャッシュ (KV-cache) などの中間データの再利用を活用することで,このLLM通信をターゲットとする新たなフレームワークであるDroidSpeakを紹介する。 我々は、同じ基礎モデルの微調整されたバージョンに対して、コンテキスト全体を再処理する必要性を効率的に回避する。 このアプローチは、タスクパフォーマンスの品質を維持しながら、より高速なコンテキスト統合を可能にする。 実験的評価では、DroidSpeakはエージェント間通信を著しく高速化し、プリフィル遅延で最大2.78倍のスピードアップを達成でき、精度は無視できる。 我々の発見は、より効率的でスケーラブルなマルチエージェントシステムを構築する可能性を示している。

関連論文リスト

• FLARES: Fast and Accurate LiDAR Multi-Range Semantic Segmentation [52.89847760590189]
  3Dシーンの理解は、自動運転における重要な課題である。 近年の手法では、レンジビュー表現を利用して処理効率を向上している。 範囲ビューに基づくLiDARセマンティックセマンティックセグメンテーションのためのワークフローを再設計する。
  論文  参考訳（メタデータ） (2025-02-13T12:39:26Z)
• Efficient Knowledge Feeding to Language Models: A Novel Integrated Encoder-Decoder Architecture [0.0]
  ICVは言語モデルの潜在埋め込みを用いて、コンテキスト内学習をリキャストする。 ICVは直接情報をモデルに統合し、この情報をより効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-07T04:24:07Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Zero-shot Slot Filling in the Age of LLMs for Dialogue Systems [0.0]
  本稿ではスロット誘導とブラックボックスの知識蒸留による自動データアノテーションの戦略を提案する。 コールセンター製品設定のための効率的なシステムアーキテクチャを導入し、市販の抽出モデルを34%の相対的なF1スコアで上回ります。
  論文  参考訳（メタデータ） (2024-11-28T08:02:25Z)
• Balancing Accuracy and Efficiency in Multi-Turn Intent Classification for LLM-Powered Dialog Systems in Production [6.459396785817196]
  本稿では,本システムにおけるスケーラビリティ向上と遅延低減のための新しい2つのアプローチを提案する。 まず,タスクの複雑さを低減し,マルチターン対話におけるパフォーマンスを向上させるために,意図ラベルを簡略化するシンボリックチューニングを提案する。 第2に,データ拡張と擬似ラベル作成にLLMを用いるフレームワークであるC-LARAを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:48:35Z)
• EPIC: Efficient Position-Independent Context Caching for Serving Large Language Models [19.510078997414606]
  EPICは、大きな言語モデルのための位置非依存のコンテキストキャッシュを導入している。 EPICはTTFTの最大8倍のスループットと既存のシステムに対する7倍のスループットを提供する。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• OrchestraLLM: Efficient Orchestration of Language Models for Dialogue State Tracking [16.057622631156164]
  大規模言語モデル (LLM) は自然言語処理システムの状況に革命をもたらしたが、計算コストは高い。 従来,Small Language Models (SLMs) の可能性を,大規模言語に対する費用対効果の代替手段として活用するための様々なアプローチが検討されてきた。 本研究では,計算効率の向上とタスク性能の向上を目的とした新しいSLM/LLMルーティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:30:55Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。