論文の概要: Attention-MoA: Enhancing Mixture-of-Agents via Inter-Agent Semantic Attention and Deep Residual Synthesis
- arxiv url: http://arxiv.org/abs/2601.16596v1
- Date: Fri, 23 Jan 2026 09:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.624382
- Title: Attention-MoA: Enhancing Mixture-of-Agents via Inter-Agent Semantic Attention and Deep Residual Synthesis
- Title（参考訳）: Attention-MoA:Agent Semantic AttentionとDeep Residual SynthesisによるMixture-of-Agentsの強化
- Authors: Jianyu Wen, Yang Wei, Xiongxi Yu, Changxuan Xiao, Ke Zeng,
- Abstract要約: 我々は、Inter-agent Semantic Attentionを通じてコラボレーションを再定義する、新しいMoAベースのフレームワークであるAttention-MoAを紹介する。
我々のアーキテクチャは、計算効率を向上しながら、深層における情報劣化を軽減します。
- 参考スコア（独自算出の注目度）: 9.98861207044308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the development of Large Language Models (LLMs) shifts from parameter scaling to inference-time collaboration, the Mixture-of-Agents (MoA) framework has emerged as a general paradigm to harness collective intelligence by layering diverse models. While recent MoA variants have introduced dynamic routing and residual connections to improve efficiency, these methods often fail to facilitate deep semantic interaction between agents, limiting the system's ability to actively correct hallucinations and refine logic. In this paper, we introduce Attention-MoA, a novel MoA-based framework that redefines collaboration through Inter-agent Semantic Attention. Complemented by an Inter-layer Residual Module with Adaptive Early Stopping Mechanism, our architecture mitigates information degradation in deep layers while improving computational efficiency. Extensive evaluations across AlpacaEval 2.0, MT-Bench, and FLASK demonstrate that Attention-MoA significantly outperforms state-of-the-art baselines, achieving a 91.15% Length-Controlled Win Rate on AlpacaEval 2.0 and dominating in 10 out of 12 capabilities on FLASK. Notably, Attention-MoA enables an ensemble of small open-source models to outperform massive proprietary models like Claude-4.5-Sonnet and GPT-4.1, achieving an MT-Bench score of 8.83 and an AlpacaEval 2.0 LC Win Rate of 77.36%.
- Abstract（参考訳）: 大規模言語モデル(LLM)の開発がパラメータスケーリングから推論時コラボレーションへと移行するにつれ、Mixture-of-Agents(MoA)フレームワークは、多様なモデルを階層化することによって集合的インテリジェンスを活用するための一般的なパラダイムとして登場した。
近年のMoA変種は動的ルーティングと残差接続を導入して効率を向上しているが、これらの手法はエージェント間の深いセマンティックな相互作用を促進するのに失敗し、幻覚を積極的に修正し、論理を洗練するシステムの能力を制限している。
本稿では,エージェント間セマンティック・アテンションを通じて協調を再定義する新しいMoAベースのフレームワークであるAttention-MoAを紹介する。
適応的な早期停止機構を持つ層間残留モジュールを組み込んだアーキテクチャは,計算効率を向上しつつ,深層における情報劣化を軽減する。
AlpacaEval 2.0、MT-Bench、FLASKの広範囲な評価は、Attention-MoAが最先端のベースラインを著しく上回り、AlpacaEval 2.0の91.15%のウィンレートを達成し、FLASKの12機能のうち10で優位であることを示している。
特に、Attention-MoAは、Claude-4.5-Sonnet や GPT-4.1 のような大規模なプロプライエタリモデルよりも優れており、MT-Bench スコア 8.83 と AlpacaEval 2.0 LC Win Rate 77.36% を達成している。
関連論文リスト
- MiroThinker: Pushing the Performance Boundaries of Open-Source Research Agents via Model, Context, and Interactive Scaling [115.74855199827596]
MiroThinkerは、ツール拡張推論と情報検索機能を向上させるために設計されたオープンソースの研究エージェントである。
モデルサイズやコンテキスト長のみをスケールアップする以前のエージェントとは異なり、MiroThinker氏はモデルレベルでのインタラクションスケーリングについて検討している。
論文 参考訳（メタデータ） (2025-11-14T18:52:07Z) - Revisiting Multi-Agent World Modeling from a Diffusion-Inspired Perspective [54.77404771454794]
拡散モデルを用いたマルチエージェント強化学習(MARL)のためのフレキシブルで堅牢な世界モデルを開発する。
本手法はDiffusion-Inspired Multi-Agent World Model (DIMA) を用いて,複数のマルチエージェント制御ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2025-05-27T09:11:38Z) - Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought [196.74837065805488]
Hunyuan-TurboSは、Transformer-Mamba Mixture of Expertsの大型ハイブリッドモデルである。
高いパフォーマンスと効率のバランスを保ち、推論コストを低く抑えている。
論文 参考訳（メタデータ） (2025-05-21T12:11:53Z) - Bi-level Mean Field: Dynamic Grouping for Large-Scale MARL [30.15224197057873]
MARL(Multi-Agent Reinforcement Learning)における動的グループ化によるエージェントの多様性を捉えるためのバイレベル平均場(BMF)手法を提案する。
BMFは動的グループ割り当てモジュールを導入し、エージェントの表現を学習するために変分オートエンコーダ(VAE)を使用している。
また, グループ間相互作用とグループ内相互作用の両方をモデル化し, 効果的な隣接アグリゲーションをモデル化するバイレベル相互作用モジュールを提案する。
論文 参考訳（メタデータ） (2025-05-10T17:04:33Z) - MIA-Mind: A Multidimensional Interactive Attention Mechanism Based on MindSpore [0.0]
軽量かつモジュラーな多次元対話型注意機構MIA-Mindを提案する。
MIA-Mindは、統合された断熱融合戦略により、空間的特徴とチャネル的特徴を共同でモデル化する。
実験は3つの代表的なデータセットで実施される。
論文 参考訳（メタデータ） (2025-04-27T02:27:50Z) - Union of Experts: Adapting Hierarchical Routing to Equivalently Decomposed Transformer [7.230514235208748]
我々は、変圧器モデルを等価な専門家グループに分解するUnion-of-Experts (UoE)を提案する。
言語モデリングタスクでは、最高の性能のMoE法と比較して、UoEはパープレキシティの平均2.38の削減を実現している。
画像分類では、最高のモデルよりも平均精度が1.75%向上する。
論文 参考訳（メタデータ） (2025-03-04T11:01:25Z) - RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness [88.82621231987815]
RLAIF-Vは,MLLMを完全なオープンソースパラダイムで整列させる新しいフレームワークである。
RLAIF-Vは、高品質なフィードバックデータ生成を含む2つの観点から、オープンソースのMLLMを最大限に探求する。
RLAIF-Vは、自動評価と人的評価の両方で6つのベンチマーク実験を行い、モデルの信頼性を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2024-05-27T14:37:01Z) - Expert-Token Resonance MoE: Bidirectional Routing with Efficiency Affinity-Driven Active Selection [19.365009652356793]
エキスパート-トークン共鳴(ETR)は、専門家-トークン相互作用を再想像する理論的な双方向ルーティング機構である。
ETRは、ベースラインのMoE実装と比較して、エンドツーエンドのトレーニング効率が5.4%-46.6%向上している。
論文 参考訳（メタデータ） (2024-05-24T02:50:44Z) - Collaborative Filtering Based on Diffusion Models: Unveiling the Potential of High-Order Connectivity [10.683635786183894]
CF-Diffは新しい拡散モデルに基づく協調フィルタリング手法である。
マルチホップの隣人と一緒に、協調的な信号を完全に活用することができる。
最高の競争相手に比べて7.29%も上昇している。
論文 参考訳（メタデータ） (2024-04-22T14:49:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。