論文の概要: Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation
- arxiv url: http://arxiv.org/abs/2601.16863v1
- Date: Fri, 23 Jan 2026 16:11:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.758003
- Title: Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation
- Title（参考訳）: 混合モデル:N-Way自己評価による不均一剤の統合
- Authors: Tims Pecerskis, Aivars Smirnovs,
- Abstract要約: 本稿では,N-Way Self-Evaluating Deliberation (NSED) プロトコル,Mixture-of-Models (MoM) アーキテクチャを提案する。
静的ゲーティングネットワークに依存する従来のMixture-of-Experts (MoE)とは異なり、NSEDはモデル選択をKnapsack問題のバリエーションとして扱うDynamic Expertise Brokerを使用している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces the N-Way Self-Evaluating Deliberation (NSED) protocol, a Runtime Mixture-of-Models (MoM) architecture that constructs emergent composite models from a plurality of distinct expert agents. Unlike traditional Mixture-of-Experts (MoE) which rely on static gating networks, NSED employs a Dynamic Expertise Broker - a runtime optimization engine that treats model selection as a variation of the Knapsack Problem, binding heterogeneous checkpoints to functional roles based on live telemetry and cost constraints. At the execution layer, we formalize deliberation as a Macro-Scale Recurrent Neural Network (RNN), where the consensus state loops back through a semantic forget gate to enable iterative refinement without proportional VRAM scaling. Key components include an orchestration fabric for trustless N-to-N peer review, a Quadratic Voting activation function for non-linear consensus, and a feedback-driven state update. Empirical validation on challenging benchmarks (AIME 2025, LiveCodeBench) demonstrates that this topology allows ensembles of small (less than 20B) consumer-grade models to match or exceed the performance of state-of-the-art 100B+ parameter models, establishing a new hardware arbitrage efficiency frontier. Furthermore, testing on the DarkBench safety suite reveals intrinsic alignment properties, with peer-mediated correction reducing sycophancy scores below that of any individual agent.
- Abstract（参考訳）: 本稿では,N-Way Self-Evaluating Deliberation (NSED) プロトコルについて述べる。
静的ゲーティングネットワークに依存する従来のMixture-of-Experts (MoE)とは異なり、NSEDは動的エキスパートブローカー(Dynamic Expertise Broker)を採用している。
実行層ではマクロスケールリカレントニューラルネットワーク(RNN)として議論を形式化し,コンセンサス状態がセマンティック・ナップ・ゲートにループして,比例的なVRAMスケーリングを伴わない反復的洗練を実現する。
主要なコンポーネントは、信頼できないN-to-Nピアレビューのためのオーケストレーションファブリック、非線形コンセンサスのための擬似投票アクティベーション機能、フィードバック駆動状態更新である。
挑戦的ベンチマーク(AIME 2025, LiveCodeBench)に関する実証的な検証では、このトポロジにより、20B未満の小型のコンシューマグレードモデルのアンサンブルが、最先端の100B+パラメータモデルのパフォーマンスに適合または超え、新しいハードウェアの調停効率フロンティアを確立することができる。
さらに、ダークベンチ安全スイートの試験では、内在的なアライメント特性が示され、ピア媒介による補正により、個々のエージェントのそれより低いサイコフィナンシースコアが減少する。
関連論文リスト
- SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。
現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。
ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
論文 参考訳（メタデータ） (2025-12-17T14:28:23Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳（メタデータ） (2025-09-03T18:05:02Z) - HEAS: Hierarchical Evolutionary Agent Simulation Framework for Cross-Scale Modeling and Multi-Objective Search [4.807104001943257]
階層シミュレーションエージェント(Hierarchical Simulation Agent, HEAS)は、階層化されたエージェントベースのモデリングを進化的最適化とトーナメント評価で統合するPythonフレームワークである。
HEASは、共有コンテキストを読み書きする決定論的レイヤにスケジュールされた軽量プロセス(ストリーム)の階層としてモデルを表現する。
compact APIとCLIは、シングルオブジェクトとマルチオブジェクトの進化をシミュレートし、最適化し、評価します。
論文 参考訳（メタデータ） (2025-08-21T13:35:46Z) - SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN [0.2812395851874055]
本稿では,モジュール型かつ費用対効果の高い文レベルの関係抽出システムであるSCoREを紹介する。
SCoREは簡単なPLMスイッチングを可能にし、微調整を必要とせず、多様なコーパスやKGにスムーズに適応する。
SCoREは, エネルギー消費を大幅に削減しつつ, 最先端の手法に適合するか, 超越しているかを示す。
論文 参考訳（メタデータ） (2025-07-09T14:33:07Z) - MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [29.58798660724693]
連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、独立して微調整されたモデルを順次統合する。
テスト時間連続モデルマージの新しいフレームワークであるMINGLEを提案する。
MINGLEは堅牢な一般化を実現し、忘れることを大幅に減らし、従来の最先端の手法を平均で7-9%上回っている。
論文 参考訳（メタデータ） (2025-05-17T07:24:22Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Towards Stable Co-saliency Detection and Object Co-segmentation [12.979401244603661]
本稿では,CoSODとCoSEGを同時検出する新しいモデルを提案する。
まず、ダミーオーダー機構(DOM)とリカレントユニット(RU)を含むマルチパス安定リカレントユニット(MSRU)を提案する。
提案したMSRUは、CoSOD(CoSEG)モデルが堅牢な画像間関係をキャプチャするだけでなく、秩序感を低減し、より安定した推論とトレーニングプロセスを実現する。
論文 参考訳（メタデータ） (2022-09-25T03:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。