論文の概要: Ensemble Learning with Sparse Hypercolumns

• arxiv url: http://arxiv.org/abs/2603.06036v1
• Date: Fri, 06 Mar 2026 08:42:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.38973
• Title: Ensemble Learning with Sparse Hypercolumns
• Title（参考訳）: スパースハイパーカラムを用いたアンサンブル学習
• Authors: Julia Dietlmeier, Vayangi Ganepola, Oluwabukola G. Adegboro, Mayug Maniparambil, Claudia Mazo, Noel E. O'Connor,
• Abstract要約: 高次元ハイパーカラム(英: high-dimensional hypercolumns)は、単一の画像画素位置に対する畳み込みニューラルネットワークの複数スケールの活性化を結合して構築された特徴ベクトルである。 実際にはハイパーカラムの使用に特化した作品はほとんどない。
• 参考スコア（独自算出の注目度）: 8.391566411578449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Directly inspired by findings in biological vision, high-dimensional hypercolumns are feature vectors built by concatenating multi-scale activations of convolutional neural networks for a single image pixel location. Together with powerful classifiers, they can be used for image segmentation i.e. pixel classification. However, in practice, there are only very few works dedicated to the use of hypercolumns. One reason is the computational complexity of processing concatenated dense hypercolumns that grows linearly with the size $N$ of the training set. In this work, we address this challenge by applying stratified subsampling to the VGG16 based hypercolumns. Furthermore, we investigate the performance of ensemble learning on sparse hypercolumns. Our experiments on a brain tumor dataset show that stacking and voting ensembles deliver competitive performance, but in the extreme low-shot case of $N \leq 20$, a simple Logistic Regression classifier is the most effective method. For 10% stratified subsampling rate, our best average Dice score is 0.66 for $N=20$. This is a statistically significant improvement of 24.53% over the standard multi-scale UNet baseline ($p$-value = $[3.07e-11]$, Wilcoxon signed-rank test), which is less effective due to overfitting.
• Abstract（参考訳）: 生物学的ビジョンの発見に直感的であり、高次元ハイパーカラムは、単一の画像画素位置に対する畳み込みニューラルネットワークのマルチスケールの活性化を結合して構築された特徴ベクトルである。 強力な分類器と共に、画像分割、すなわちピクセル分類に使用できる。 しかし、実際にはハイパーカラムの使用に特化した作品はほとんどない。 その理由の1つは、訓練セットの$N$と線形に成長する密集ハイパーカラムの処理の計算複雑性である。 本稿では,VGG16系ハイパーカラムに階層化サブサンプリングを適用することで,この問題に対処する。 さらに,スパースハイパーカラムにおけるアンサンブル学習の性能について検討した。 脳腫瘍データセットを用いた実験では, 積み重ねと投票のアンサンブルが競争力を発揮することが示されたが, 極端に低ショットの$N \leq 20$の場合, 単純なロジスティック回帰分類器が最も有効な方法である。 10%の階層化サブサンプリングレートでは、平均Diceスコアは0.66ドルでN=20$である。 これは、標準的なマルチスケールのUNetベースライン(p$-value = $[3.07e-11]$, Wilcoxon符号ランクテスト)に対して24.53%という統計的に重要な改善であり、オーバーフィッティングによる効果が低い。

関連論文リスト

• Accelerated Learning on Large Scale Screens using Generative Library Models [4.059849656394191]
  データ生成とモデルトレーニングのために,高スループット画面を最適化するアルゴリズムを導入する。 我々は、データセットのサイズが測定とシークエンシングのコストによって制限される大規模体制に焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-18T18:33:51Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization [47.38380084735716]
  大規模な画像テキストペアで事前訓練された視覚教師付きモデル(VLM)は、顕著なゼロ/フェーショット性能を示した。 知識蒸留(KD)は、VLM能力を伝達するための自然な枠組みを提供するが、監督と蒸留の損失の間の勾配の衝突に悩まされる。 本稿では,異なる信号に対して2つの予測ヘッドを導入するDual-Head Optimization (DHO)を提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:39:51Z)
• Gramian Attention Heads are Strong yet Efficient Vision Learners [26.79263390835444]
  複数のヘッダ分類器(e, classification head)を組み込むことで表現性を向上する新しいアーキテクチャ設計を提案する。 本手法では,資源オーバーヘッドを最小に抑えつつ,複数の軽量ヘッドを強化するために,一対の特徴的類似性を利用したアグリゲーションを用いる。 われわれのモデルは最終的に、ImageNet-1Kの精度の細かいトレードオフに関して、最先端のCNNやViTを上回ることになる。
  論文  参考訳（メタデータ） (2023-10-25T09:08:58Z)
• Recurrently Predicting Hypergraphs [30.092688729343678]
  問題は、$n$要素の集合に対して$mathcalO(2n)$でスケーリング可能なマルチウェイ関係(ハイパーエッジ)の数から生じる。 そこで本研究では,提案手法の初期推定を反復的に精算することにより,入射行列を予測する再帰型ハイパーグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-26T01:12:41Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)
• Provable Robust Classification via Learned Smoothed Densities [1.599072005190786]
  雑音の測定値から、$widehatx(Y)$, $textitBayes estimator$$ $X$という、ロバストな分類の問題を定式化する。 学習されたスムーズなエネルギー関数と線形分類器により、経験的防御と競合する堅牢な精度の証明可能な$ellを達成できることが示される。
  論文  参考訳（メタデータ） (2020-05-09T19:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。