論文の概要: Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation
- arxiv url: http://arxiv.org/abs/2607.23860v1
- Date: Sun, 26 Jul 2026 22:06:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.255313
- Title: Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation
- Title（参考訳）: ソフトマックス温度変調による正規化に基づくインシシトアンサンブルの制御可能な多様性
- Abstract要約: $N-Ensは正規化に基づく暗黙のアンサンブルで、各メンバーをマルチタスクアーキテクチャのタスクとして扱う。
正規化層のみが複製されるため、このメカニズムは畳み込みやトランスフォーマーのバックボーンを包むことができる。
- 参考スコア（独自算出の注目度）: 0.9668407688201359
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep ensembles provide the most reliable uncertainty estimates in deep learning, but their cost grows linearly with the number of members. Implicit ensembles lower this cost by sharing a single backbone across members. Member diversity is a primary determinant of ensemble quality, yet no implicit ensemble can shape it during training; existing methods fix it at initialisation or build it into the architecture. We introduce $σ$N-Ens, a normalisation-based implicit ensemble that treats each member as a task in a multi-task architecture and modulates the shared backbone through sigmoid-bounded scalers. We also introduce a softmax-temperature regulariser, which shapes the equilibrium level of sharing between members and traces the accuracy-calibration frontier. Because only normalisation layers are replicated, the mechanism can wrap convolutional and transformer backbones alike, also allowing pretrained models to be adapted through a short fine-tune. We frame the epistemic uncertainty such an ensemble expresses as modulation uncertainty, and explain why its calibration holds under input corruption, and why its out-of-distribution detection is weaker. Our method is evaluated across ResNets and transformers on CIFAR-10/100, ImageNet and SST-2. $σ$N-Ens matches or outperforms deep ensembles at a fraction of their parameter cost, scales with ensemble size where partitioning methods collapse, and maintains calibration under distribution shift.
- Abstract（参考訳）: 深層アンサンブルは、ディープラーニングにおいて最も確実な不確実性推定を提供するが、そのコストはメンバー数とともに直線的に増加する。
暗黙のアンサンブルは、メンバー間で単一のバックボーンを共有することで、このコストを下げます。
メンバの多様性は、アンサンブルの品質の主要な決定要因であるが、トレーニング中に暗黙のアンサンブルを形作ることはできない。
正規化に基づく暗黙のアンサンブルである$σ$N-Ensを導入する。
また、部材間の共有の平衡レベルを形作るソフトマックス温度正則器を導入し、精度校正フロンティアをトレースする。
正規化層のみが複製されるため、このメカニズムは畳み込みやトランスフォーマーのバックボーンを包むことができる。
我々は,変調不確かさとして表現されるようなてんかんの不確かさを枠組み化し,なぜその校正が入力汚損の下で維持されるのか,また,なぜ分布外検出が弱いのかを説明する。
提案手法は,CIFAR-10/100, ImageNet, SST-2上でResNet, トランスフォーマー間で評価される。
$σ$N-Ens は、パラメータコストのごく一部でディープアンサンブルをマッチまたは性能良くし、パーティショニングメソッドが崩壊するアンサンブルサイズでスケールし、分散シフトの下でキャリブレーションを維持する。
関連論文リスト
- Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳（メタデータ） (2026-08-11T07:58:17Z) - DP-Splat: Bayesian Nonparametric Complexity Control for Gaussian Splatting [0.0]
3D Splattingは、密度制御またはユーザキャップによって構成される成分数$K$の異方性ガウスの有限混合を表す。
混合重みよりも対称対称ディリクレをトランクされた棒破れディリクレ過程に置き換える。
単調性保証,厳密なトランケーション・エラーを厳格に保証し,反保守的大エラー近似を一般的な使用法で補正する。
論文 参考訳（メタデータ） (2026-07-12T20:31:15Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Scaling Autoregressive Models for Lattice Thermodynamics [5.904448014233719]
マルコフ連鎖モンテカルロサンプリングは、緩やかな収束と、相転移付近の急激な減速に悩まされる。
既存の自己回帰モデル(ARM)は、一定の順序で構成を生成し、高いメモリとトレーニングコストを発生させる。
本稿では、格子サイトの任意のサブセットに条件付けすることで、柔軟に構成を生成する任意の順序ARMと、1つのフォワードパスにおける任意の部分構成の確率を近似するモデル(MAM)を組み合わせたフレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-16T01:03:59Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。
不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。
本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。
本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
論文 参考訳（メタデータ） (2026-01-29T18:07:18Z) - Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles [2.957223821964636]
BatchEnsembleは、アンサンブルのような不確実性(EU)EUを、はるかに低いパラメータとメモリコストで提供することを目指している。
我々は,BatchEnsembleがDeep Ensemblesを過小評価するだけでなく,単一のモデルベースラインを密接に追跡していることを示す。
論文 参考訳（メタデータ） (2026-01-23T17:50:50Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - Scalable Robust Bayesian Co-Clustering with Compositional ELBOs [2.6756996523251964]
共クラスタリングは、両方の次元において有意義なグループを明らかにするために、インスタンスと機能の双対性を利用する。
本稿では,列クラスタと列クラスタを直接学習する,完全変動型クラスタリングフレームワークについて紹介する。
提案手法は, 従来のコクラスタリング手法の利点を保ちながら, 精度とロバスト性にも優れる。
論文 参考訳（メタデータ） (2025-04-05T06:48:05Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。
この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳（メタデータ） (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。