論文の概要: SuperAI: Merging Capabilities Across Heterogeneous Foundation Models

• arxiv url: http://arxiv.org/abs/2610.15322v2
• Date: Wed, 14 Oct 2026 07:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.188312
• Title: SuperAI: Merging Capabilities Across Heterogeneous Foundation Models
• Title（参考訳）: SuperAI: 不均一ファンデーションモデル全体での能力の融合
• Abstract要約: SuperAIは、複数のソースモデルからの補完機能をホストモデルに統合する、クロスアーキテクチャなマルチモデル融合フレームワークである。 15個の機能ドメインにわたる3つのホストモデルの実験により、SuperAIは評価されたクロスアーキテクチャ融合法よりも平均的なドメインスコアを達成することが示された。
• 参考スコア（独自算出の注目度）: 54.535999022059706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling the reuse and composition of knowledge and capabilities distributed across foundation models is an important step toward building scalable artificial intelligence (AI) systems. However, architectural differences and incompatible representations make it difficult to transfer and integrate these capabilities through a unified cross-model interface. To address this challenge, we propose SuperAI, a cross-architecture multi-model fusion framework that integrates complementary capabilities from multiple source models into a host model through orthogonal alignment of low-dimensional task-relevant representations. Specifically, we first extract task-relevant representations from the source models and the host model using shared anchor samples, and apply principal component analysis (PCA) to construct low-dimensional functional subspaces with the same dimensionality. Next, we use orthogonal Procrustes mappings to align the source and host coordinate systems, establishing cross-model correspondences while preserving the internal geometry of each source subspace. Finally, we train a lightweight residual multilayer perceptron (MLP) with joint supervision on task outputs and source-model increments, learning input-dependent residual increments that are injected into the host model for multi-model capability fusion. Experiments on three host models across 15 capability domains show that SuperAI achieves higher average domain scores than the evaluated cross-architecture fusion methods and better preserves general capabilities as the number of source models increases. Ablation studies further support the effectiveness of orthogonal alignment, nonlinear residual mapping, and joint supervision.
• Abstract（参考訳）: 基礎モデルにまたがる知識と能力の再利用と構成を実現することは、スケーラブルな人工知能(AI)システムを構築するための重要なステップである。 しかし、アーキテクチャ上の違いと非互換な表現は、これらの機能を統一されたクロスモデルインターフェースを通じて転送し統合することを困難にします。 この課題に対処するために,低次元タスク関連表現の直交的アライメントを通じて,複数のソースモデルからの補完機能をホストモデルに統合する,クロスアーキテクチャなマルチモデル融合フレームワークであるSuperAIを提案する。 具体的には、まず、共有アンカーサンプルを用いて、ソースモデルとホストモデルからタスク関連表現を抽出し、主成分分析(PCA)を適用し、同じ次元の低次元機能部分空間を構築する。 次に、直交プロクリストマッピングを用いて、ソース座標系とホスト座標系を整列させ、各ソース部分空間の内部幾何学を保ちながら、クロスモデル対応を確立する。 最後に、タスク出力とソースモデルインクリメントを共同で監督し、マルチモデル機能融合のためにホストモデルに注入される入力依存残差インクリメントを学習する軽量残差多層パーセプトロン(MLP)を訓練する。 15の機能ドメインにわたる3つのホストモデルの実験は、SuperAIが評価されたクロスアーキテクチャ融合メソッドよりも平均的なドメインスコアを達成し、ソースモデルの数が増加するにつれて、一般的な機能を維持することを示す。 アブレーション研究は、直交アライメント、非線形残差マッピング、共同監督の有効性をさらに支援している。

関連論文リスト

• DiveUp: Learning Feature Upsampling from Diverse Vision Foundation Models [11.659303031631723]
  DiveUpは、マルチVFMリレーショナルガイダンスを導入することで、単一モデル依存から脱却する新しいフレームワークである。 本稿では,局所的中心-質量場 (COM) として定式化され,固有幾何学的構造を抽出する普遍的関係特徴表現を提案する。 DiveUpは統一されたエンコーダに依存しないフレームワークである。
  論文  参考訳（メタデータ） (2026-03-13T20:20:22Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Disaggregated Multi-Tower: Topology-aware Modeling Technique for Efficient Large-Scale Recommendation [19.863632295599892]
  Disaggregated Multi-Tower (DMT) は、モノリシックなグローバルな埋め込みルックアッププロセスを非接合塔に分解するモデリング手法である。 DMTは最先端のベースラインに比べて最大1.9倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2024-03-01T08:26:44Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。