論文の概要: DroidSpeak: Enhancing Cross-LLM Communication

• arxiv url: http://arxiv.org/abs/2411.02820v1
• Date: Tue, 05 Nov 2024 05:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:44.489281
• Title: DroidSpeak: Enhancing Cross-LLM Communication
• Title（参考訳）: DroidSpeak: クロスLLM通信の強化
• Authors: Yuhan Liu, Esha Choukse, Shan Lu, Junchen Jiang, Madan Musuvathi,
• Abstract要約: 我々は,このクロスLLM通信をターゲットとする新しいフレームワークであるDroidSpeakを紹介する。 我々は、同じ基礎モデルの微調整されたバージョンに対して、コンテキスト全体を再処理する必要性を効率的に回避する。 我々の発見は、より効率的でスケーラブルなマルチエージェントシステムを構築する可能性を示している。
• 参考スコア（独自算出の注目度）: 15.901409892276288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In multi-agent systems utilizing Large Language Models (LLMs), communication between agents traditionally relies on natural language. This communication often includes the full context of the query so far, which can introduce significant prefill-phase latency, especially with long contexts. We introduce DroidSpeak, a novel framework to target this cross-LLM communication by leveraging the reuse of intermediate data, such as input embeddings (E-cache) and key-value caches (KV-cache). We efficiently bypass the need to reprocess entire contexts for fine-tuned versions of the same foundational model. This approach allows faster context integration while maintaining the quality of task performance. Experimental evaluations demonstrate DroidSpeak's ability to significantly accelerate inter-agent communication, achieving up to a 2.78x speedup in prefill latency with negligible loss in accuracy. Our findings underscore the potential to create more efficient and scalable multi-agent systems.
• Abstract（参考訳）: LLM(Large Language Models)を利用したマルチエージェントシステムでは、エージェント間の通信は伝統的に自然言語に依存している。 このコミュニケーションには、クエリの完全なコンテキストが含まれており、特に長いコンテキストにおいて、大きなプレフィルフェイズレイテンシを発生させる可能性がある。 本稿では,入力埋め込み (E-cache) やキー値キャッシュ (KV-cache) などの中間データの再利用を活用することで,このLLM通信をターゲットとする新たなフレームワークであるDroidSpeakを紹介する。 我々は、同じ基礎モデルの微調整されたバージョンに対して、コンテキスト全体を再処理する必要性を効率的に回避する。 このアプローチは、タスクパフォーマンスの品質を維持しながら、より高速なコンテキスト統合を可能にする。 実験的評価では、DroidSpeakはエージェント間通信を著しく高速化し、プリフィル遅延で最大2.78倍のスピードアップを達成でき、精度は無視できる。 我々の発見は、より効率的でスケーラブルなマルチエージェントシステムを構築する可能性を示している。

関連論文リスト

• Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
  大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。 本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。 我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
  論文  参考訳（メタデータ） (2025-04-15T16:00:21Z)
• Learning LLM Preference over Intra-Dialogue Pairs: A Framework for Utterance-level Understandings [9.763273544617176]
  大規模言語モデル(LLM)は、ケース固有の微調整を必要とせずに複雑な対話タスクを処理できることが顕著に示されている。 本稿では,この課題に対処するための,シンプルながら効果的な枠組みを提案する。 本手法は、意図検出や対話状態追跡などのタスクを含む発話ごとの分類問題に特化して設計されている。
  論文  参考訳（メタデータ） (2025-03-07T17:46:13Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)により,より効率的な長文処理を実現する。 本稿では,まず,変圧器の非効率性について,ソフトマックス動作のばらつきから生じる注意シンク現象を考察する。 実験により、SWATは8つのベンチマーク上での最先端の線形リカレントアーキテクチャと比較してSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• FLARES: Fast and Accurate LiDAR Multi-Range Semantic Segmentation [52.89847760590189]
  3Dシーンの理解は、自動運転における重要な課題である。 近年の手法では、レンジビュー表現を利用して処理効率を向上している。 範囲ビューに基づくLiDARセマンティックセマンティックセグメンテーションのためのワークフローを再設計する。
  論文  参考訳（メタデータ） (2025-02-13T12:39:26Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Balancing Accuracy and Efficiency in Multi-Turn Intent Classification for LLM-Powered Dialog Systems in Production [6.459396785817196]
  本稿では,本システムにおけるスケーラビリティ向上と遅延低減のための新しい2つのアプローチを提案する。 まず,タスクの複雑さを低減し,マルチターン対話におけるパフォーマンスを向上させるために,意図ラベルを簡略化するシンボリックチューニングを提案する。 第2に,データ拡張と擬似ラベル作成にLLMを用いるフレームワークであるC-LARAを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:48:35Z)
• Remote Timing Attacks on Efficient Language Model Inference [63.79839291641793]
  タイミング差を利用してタイミングアタックをマウントできることが示される。 90%以上の精度でユーザの会話の話題を学習することができるかを示す。 相手はブースティング攻撃を利用して、オープンソースのシステム用のメッセージに置かれたPIIを回復することができる。
  論文  参考訳（メタデータ） (2024-10-22T16:51:36Z)
• EPIC: Efficient Position-Independent Context Caching for Serving Large Language Models [19.510078997414606]
  EPICは、大きな言語モデルのための位置非依存のコンテキストキャッシュを導入している。 EPICはTTFTの最大8倍のスループットと既存のシステムに対する7倍のスループットを提供する。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
  モデルに依存しない長期対話エージェント(LD-Agent)を導入する。 イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。 LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-06-09T21:58:32Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• TESS: A Multi-intent Parser for Conversational Multi-Agent Systems with Decentralized Natural Language Understanding Models [6.470108226184637]
  マルチエージェントシステムは、ユーザ意図の自然言語理解を複雑にする。 本稿では,ユーザからの多目的発話を効率的に解析・オーケストレーションするパイプラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:39:23Z)
• Communication-Efficient Federated Optimization over Semi-Decentralized Networks [42.11743453542266]
  通信効率は、大規模ネットワークにおいて最も困難なボトルネックの1つである。 本稿では,エージェント間通信とエージェント間通信の両方を行う半分散通信プロトコルの通信効率について検討する。
  論文  参考訳（メタデータ） (2023-11-30T18:37:15Z)
• OrchestraLLM: Efficient Orchestration of Language Models for Dialogue State Tracking [16.057622631156164]
  大規模言語モデル (LLM) は自然言語処理システムの状況に革命をもたらしたが、計算コストは高い。 従来,Small Language Models (SLMs) の可能性を,大規模言語に対する費用対効果の代替手段として活用するための様々なアプローチが検討されてきた。 本研究では,計算効率の向上とタスク性能の向上を目的とした新しいSLM/LLMルーティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:30:55Z)
• Leveraging Timestamp Information for Serialized Joint Streaming Recognition and Translation [51.399695200838586]
  本稿では,マルチ・ツー・ワン・ワン・マン・ワン・ツー・マンの同時生成が可能なストリーミングトランスフォーマー・トランスデューサ(T-T)モデルを提案する。 実験では,1個のデコーダで1対1のジョイント出力を初めて生成し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-23T11:00:27Z)
• Towards Efficient Dialogue Pre-training with Transferable and Interpretable Latent Structure [77.30953347462452]
  本稿では、汎用ドメインから下流タスクへ、軽量で透過的な方法で容易に転送可能な潜在構造を持つ対話生成モデルを提案する。 伝達可能な潜在構造のおかげで,我々のモデルは,自動評価と人的評価の両面において,4つの強いベースラインよりも優れた対話応答が得られる。
  論文  参考訳（メタデータ） (2022-10-22T14:46:43Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling [57.271494741212166]
  本稿では,通信時間最小化問題を定式化し,解決する。 最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。 提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
  論文  参考訳（メタデータ） (2021-07-24T11:39:17Z)
• Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning [5.612141846711729]
  エージェント間通信は、コーディネーションを必要とするマルチエージェントタスクのパフォーマンスを著しく向上させることができる。 通信が帯域幅、電力、ネットワーク容量といったシステムの制約によって制限されるような現実世界のアプリケーションでは、送信されるメッセージの数を減らす必要がある。 性能を損なうことなく、コミュニケーションを75%削減できることを示す。
  論文  参考訳（メタデータ） (2021-06-15T23:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。