論文の概要: Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights
- arxiv url: http://arxiv.org/abs/2605.13839v1
- Date: Wed, 13 May 2026 17:58:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:28.226092
- Title: Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights
- Title(参考訳): 良いエージェントの友達は、バーバルアドバイザを贈るだけでなく、あなたの体重をアップデートできる
- Authors: Wenrui Bao, Huan Wang, Jian Wang, Zhangyang Wang, Kai Wang, Yuzhang Shang,
- Abstract要約: マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。
送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
- 参考スコア(独自算出の注目度): 58.27172968382275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent LLM systems usually collaborate by exchanging natural-language messages. This interface is simple and interpretable, but it forces each sender's intermediate computation to be serialized into tokens and then reprocessed by the receiver, thereby increasing the generated-token cost, prefill overhead, and KV-cache memory. We study an alternative communication interface: instead of appending a sender's message to the receiver's context, compile the sender's hidden states into a transient, receiver-specific weight perturbation. We introduce TFlow (Thought Flow), a weight-space communication framework for a known and fixed receiver architecture. For each query, frozen role-prompted sender agents process the input, and a learned parameter generator maps their internal activations into low-rank LoRA perturbations targeting the receiver's modules. These perturbations are fused and applied only during the receiver's generation, enabling instance-level adaptation without permanently changing the model or enlarging the receiver's text context. With three Qwen3-4B agents, TFlow improves over a standalone receiver by up to 8.5 accuracy points across five benchmarks while reducing processed tokens by up to 32.69%. Compared with a text-based three-agent baseline, it reduces total processed tokens by up to 83.27% and the wall-clock inference time by up to 4.6$\times$, while maintaining competitive accuracy on four of five benchmarks. These results suggest that transient low-rank weight perturbations can serve as an executable communication medium for efficient multi-agent LLM collaboration.
- Abstract(参考訳): マルチエージェントLLMシステムは、通常、自然言語メッセージを交換することで協調する。
このインタフェースは単純で解釈可能であるが、各送信者の中間計算をトークンにシリアライズし、受信機によって再処理することで、生成したコスト、プリフィルオーバーヘッド、KVキャッシュメモリを増大させる。
送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
本稿では、既知かつ固定された受信機アーキテクチャのための重み空間通信フレームワークであるTFlow(Thought Flow)を紹介する。
各クエリに対して、フリーズされたロールプロンプトされた送信エージェントが入力を処理し、学習されたパラメータジェネレータが内部のアクティベーションをレシーバのモジュールをターゲットとするローランクなLoRA摂動にマッピングする。
これらの摂動は受信機生成時にのみ利用され、モデルを変更したり、受信機のテキストコンテキストを大きくしたりすることなくインスタンスレベルの適応を可能にする。
3つのQwen3-4Bエージェントにより、TFlowは5つのベンチマークで最大8.5の精度ポイントを、処理トークンを最大32.69%削減する。
テキストベースの3エージェントベースラインと比較して、合計処理トークンを83.27%まで削減し、ウォールタイムの推論時間を最大4.6$\times$まで削減し、5つのベンチマークのうち4つの競合精度を維持している。
これらの結果から、過渡的な低ランク重量摂動は、効率的なマルチエージェントLLM協調のための実行可能な通信媒体として機能する可能性が示唆された。
関連論文リスト
- FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM Fine-tuning [58.80511162314259]
我々はフェデレート学習のための新しいクライアントレベルの属性プロトコルであるFedAttrを提案する。
FedAttrは、ペア化されたサブセット差分メカニズムを通じて、ウォーターマークされたデータでトレーニングされたクライアントを特定する。
100%のTPRと0%のFPRを達成し、TPRでは少なくとも44.4%、FPRでは19.1%を上回り、FLトレーニング時間に比べて6.3%のオーバーヘッドしか残っていない。
論文 参考訳(メタデータ) (2026-05-07T17:21:02Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳(メタデータ) (2026-04-20T01:29:56Z) - Learning to Interrupt in Language-based Multi-agent Communication [41.62604808881143]
本稿では、現在話者を割り込むために耳を傾けているエージェントに対して、割り込み可能な通信フレームワークを提案する。
我々は,2エージェントテキストピクチャリーゲーム,3エージェントミーティングスケジューリング,3エージェント討論など,多エージェントシナリオにおけるフレームワークの評価を行った。
実験の結果,HANDRAISERは,タスク性能に優れたベースラインに比べて,通信コストを32.2%削減できることがわかった。
論文 参考訳(メタデータ) (2026-04-07T20:47:40Z) - SCoUT: Scalable Communication via Utility-Guided Temporal Grouping in Multi-Agent Reinforcement Learning [2.064923532131528]
部分観察型マルチエージェント強化学習(MARL)におけるコミュニケーションによるコーディネーションの改善
textbfScalable textbfCommunication via textbfUtility-guided textbfTemporal grouping)
エージェントは環境行動、決定の送付、受取者選択という3つの方針で訓練される。
論文 参考訳(メタデータ) (2026-03-05T05:33:28Z) - Privacy-Preserving Semantic Communications via Multi-Task Learning and Adversarial Perturbations [49.494000480610225]
本稿では,ディープラーニングに基づくセマンティックコミュニケーションフレームワークを提案する。
シーケンシャルなリークをeavesdropperに明示的に制限しながら、複数の受信タスクをサポートする。
摂動層は、正当なリンクが自身のタスクのためにのみ訓練された場合でも、セマンティックリークを低減することに成功している。
論文 参考訳(メタデータ) (2025-12-30T20:19:49Z) - FedScalar: A Communication efficient Federated Learning [0.0]
フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。
emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
論文 参考訳(メタデータ) (2024-10-03T07:06:49Z) - Conditional Logical Message Passing Transformer for Complex Query Answering [22.485655410582375]
我々は、新しい最先端のニューラルCQAモデル、条件付き論理メッセージパッシングトランス(CLMPT)を提案する。
我々は,本手法が性能に影響を与えずに計算コストを削減できることを実証的に検証した。
実験の結果, CLMPTは最先端のニューラルCQAモデルであることがわかった。
論文 参考訳(メタデータ) (2024-02-20T12:17:01Z) - Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior [66.4024040742149]
LLMのトレーニングコーパスでは、受信者の「行動トークン」、例えば、シェア、お気に入り、クリック、購入、リツイートを紹介し、受信者のコンテンツを最適化し、その振る舞いを予測する。
コンテンツ理解タスクにおけるLLMと同じような性能を示す以外に、トレーニングされたモデルでは、行動次元における一般化能力を示す。
これらのモデルをLCBM(Large Content and Behavior Models)と呼ぶ。
論文 参考訳(メタデータ) (2023-09-01T09:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。