論文の概要: Multi-Narrow Transformation as a Single-Model Ensemble: Boundary Conditions, Mechanisms, and Failure Modes

• arxiv url: http://arxiv.org/abs/2605.11530v1
• Date: Tue, 12 May 2026 04:54:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.59003
• Title: Multi-Narrow Transformation as a Single-Model Ensemble: Boundary Conditions, Mechanisms, and Failure Modes
• Title（参考訳）: 単一モデルアンサンブルとしてのマルチナロー変換:境界条件,メカニズム,障害モード
• Authors: Tatsuhito Hasegawa, Taisei Tanaka,
• Abstract要約: シングルモデルアンサンブル(SME)は、1つのネットワーク内での深層アンサンブルの利点を近似する方法として注目されている。 ほぼ一致したパラメータ予算の下では、モデルキャパシティが1つの広い経路に集中すべきか、あるいは多くの狭義の独立したメンバーに再分配されるべきなのかは定かではない。 この問題は,ベースラインCNNを細い,パスワイドな独立ブランチのSMEに変換するマルチナロー変換(MN)を用いて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Single-model ensembles (SMEs) have attracted attention as a way to approximate some of the benefits of deep ensembles within a single network. However, under an approximately matched parameter budget, it remains unclear whether model capacity should be concentrated in a single wide pathway or redistributed into many narrow and independent members. We investigate this question through the Multi-Narrow (MN) transformation, which converts a baseline CNN into an SME of narrow, path-wise independent branches while approximately preserving the dominant parameter budget. We systematically compare Single-Wide and Multi-Narrow configurations across different training-data regimes, architectures, and datasets. The results show that the effectiveness of MN is strongly data-dependent: weakly partitioned or baseline-wide models are preferable in data-rich settings, whereas highly partitioned MN models consistently outperform the baseline in low-data settings. This tendency is reproduced across multiple CNN architectures and image-classification datasets, suggesting that it is not specific to a single benchmark or model family. Analysis of internal representations shows that high-MN models learn more diverse and less redundant path-wise features. In low-data regimes, this diversity is broadly utilized and improves generalization, whereas in data-rich regimes, training becomes imbalanced and prediction is dominated by a small subset of paths. These findings clarify when and why Multi-Narrow transformation is effective, and provide practical guidance for allocating model capacity between width and member multiplicity under a limited budget.
• Abstract（参考訳）: シングルモデルアンサンブル(SME)は、1つのネットワーク内での深層アンサンブルの利点を近似する方法として注目されている。 しかし、およそ一致したパラメータ予算の下では、モデルキャパシティが1つの広い経路に集中すべきか、あるいは多くの狭義の独立したメンバーに再配布されるべきなのかは定かではない。 本稿では,MN(Multi-Narrow)変換を用いて,ベースラインCNNを,支配的パラメータ予算を概ね保ちながら,狭小かつパスワイドな分岐のSMEに変換する。 我々は、異なるトレーニングデータ構造、アーキテクチャ、データセット間で、シングルウェイドとマルチナロー構成を体系的に比較する。 弱分割モデルやベースラインワイドモデルは、データリッチな設定では好ましいが、高分割MNモデルは低データ設定では一貫してベースラインよりも優れている。 この傾向は、複数のCNNアーキテクチャや画像分類データセットで再現されており、単一のベンチマークやモデルファミリに固有のものではないことを示唆している。 内部表現の解析は、高MNモデルがより多様で冗長でないパスワイドな特徴を学習することを示している。 低データレジームでは、この多様性が広く活用され、一般化が向上する一方、データリッチレジームでは、トレーニングは不均衡となり、予測はパスの小さなサブセットによって支配される。 これらの知見は, マルチナロー変換が有効である時期と理由を明らかにし, 限られた予算の下で, モデルキャパシティの幅と部材乗算の割り当てを行うための実践的ガイダンスを提供する。

関連論文リスト

• On the Tradeoffs of On-Device Generative Models in Federated Predictive Maintenance Systems [7.771267771396697]
  Federated Learning(FL)は、分散IoT(Internet of Things)環境上のクライアントデータのオーナシップとコントロールを保護するための、有望なパラダイムとして登場した。 Variversa Autoencoders (VAE)、Generative Adrial Networks (GAN)、Diffusion Models (DM)などの生成モデルの最近の進歩は、時系列解析における教師なし異常検出の新しい機会を提供する。 本稿では,予測保守(PdM)の文脈におけるVAE,GAN,DMの包括的分析について述べる。 部分的コンポーネント共有を原則的メカニズムとして定式化するフェデレーション生成モデルのための新しい分類法を提案する。
  論文  参考訳（メタデータ） (2026-05-08T15:20:22Z)
• M-Loss: Quantifying Model Merging Compatibility with Limited Unlabeled Data [9.502531621979694]
  本稿では,新しい評価指標であるMerging-ensembling loss (M-Loss)を紹介する。 M-Lossは、非常に限られたラベルのないデータを用いて、マージソースモデルの互換性を定量化する。 理論解析と実験により,M-Lossをマージプロセスに組み込むことで,マージモデルとモデルアンサンブルのアライメントが大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-02-09T12:03:36Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• HMDN: Hierarchical Multi-Distribution Network for Click-Through Rate Prediction [26.32695178700689]
  階層型マルチディストリビューションネットワーク(HMDN)というフレキシブルなモデリングパラダイムを提案する。 HMDNは、混合マルチディストリビューションを効率的にモデル化し、既存のマルチディストリビューション手法とシームレスに統合することができる。 HMDNの有効性と柔軟性は,公立および工業用両方のデータセットで実験的に検証された。
  論文  参考訳（メタデータ） (2024-08-02T15:29:59Z)
• SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
  時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。 いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。 本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:06:35Z)
• RegBN: Batch Normalization of Multimodal Data with Regularization [5.293979881130494]
  本稿では、RegBNと呼ばれるマルチモーダルデータの正規化のための新しいアプローチを提案する。 RegBNはFrobeniusのノルムを正規化用語として使用して、共同創設者の副作用と、異なるデータソース間の基盤となる依存関係に対処している。 5つの研究領域の8つのデータベース上でRegBNの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-01T11:05:45Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network Representation Learning [52.83948119677194]
  大規模不均一表現学習のためのマルチセマンティックメタパス(MSM)モデルを提案する。 具体的には,マルチセマンティックなメタパスに基づくランダムウォークを生成し,不均衡な分布を扱うヘテロジニアスな近傍を構築する。 提案するフレームワークに対して,AmazonとAlibabaの2つの挑戦的なデータセットに対して,体系的な評価を行う。
  論文  参考訳（メタデータ） (2020-07-19T22:50:20Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。