論文の概要: Structured Output Regularization: a framework for few-shot transfer learning

• arxiv url: http://arxiv.org/abs/2510.08728v1
• Date: Thu, 09 Oct 2025 18:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.497441
• Title: Structured Output Regularization: a framework for few-shot transfer learning
• Title（参考訳）: 構造的出力正規化 - 数ショット変換学習のためのフレームワーク
• Authors: Nicolas Ewen, Jairo Diaz-Rodriguez, Kelly Ramsay,
• Abstract要約: 従来のトランスファーラーニングは、重みのいくつかを凍結し、タスク固有のレイヤーを追加することで、トレーニング済みの大きなネットワークを再利用する。 本稿では,内部ネットワーク構造を凍結するシンプルかつ効果的なフレームワークであるStructured Output Regularization (SOR)を提案する。 このフレームワークは、モデルを最小限の追加パラメータで特定のデータに調整し、様々なネットワークコンポーネントに容易に適用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional transfer learning typically reuses large pre-trained networks by freezing some of their weights and adding task-specific layers. While this approach is computationally efficient, it limits the model's ability to adapt to domain-specific features and can still lead to overfitting with very limited data. To address these limitations, we propose Structured Output Regularization (SOR), a simple yet effective framework that freezes the internal network structures (e.g., convolutional filters) while using a combination of group lasso and $L_1$ penalties. This framework tailors the model to specific data with minimal additional parameters and is easily applicable to various network components, such as convolutional filters or various blocks in neural networks enabling broad applicability for transfer learning tasks. We evaluate SOR on three few shot medical imaging classification tasks and we achieve competitive results using DenseNet121, and EfficientNetB4 bases compared to established benchmarks.
• Abstract（参考訳）: 従来のトランスファーラーニングは、重みのいくつかを凍結し、タスク固有のレイヤーを追加することで、トレーニング済みの大きなネットワークを再利用する。 このアプローチは計算効率が良いが、ドメイン固有の機能に適応する能力は制限され、非常に限られたデータで過度に適合する可能性がある。 このような制約に対処するために,内部ネットワーク構造(例えば畳み込みフィルタ)を,グループラッソと$L_1$ペナルティの組み合わせで凍結する,シンプルかつ効果的なフレームワークであるStructured Output Regularization (SOR)を提案する。 このフレームワークは、モデルを最小限の追加パラメータで特定のデータに調整し、畳み込みフィルタやニューラルネットワークの様々なブロックなど、さまざまなネットワークコンポーネントに容易に適用でき、転送学習タスクに広範な適用を可能にする。 我々は,DenseNet121とEfficientNetB4ベースの3つの画像医用画像分類タスクでSORを評価し,既存のベンチマークと比較し,競争力のある結果を得た。

関連論文リスト

• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• RTF-Q: Efficient Unsupervised Domain Adaptation with Retraining-free Quantization [14.447148108341688]
  ReTraining-Free Quantization (RTF-Q) を用いた効率的な非教師なし領域適応法を提案する。 提案手法では,計算コストの異なる低精度量子化アーキテクチャを用い,動的予算を持つデバイスに適用する。 提案するネットワークは,3つのベンチマークにおける最先端手法との競合精度を実証する。
  論文  参考訳（メタデータ） (2024-08-11T11:53:29Z)
• Conditional Information Gain Trellis [1.290382979353427]
  条件計算は、ニューラルネットワークの計算ユニットの一部のみを使用して入力を処理する。 深層畳み込みニューラルネットワークにおける特定の実行パスを生成するために,トレリスに基づくアプローチを用いる。 条件付き実行機構は,非条件付きベースラインと比較して,同等あるいは優れたモデル性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-13T10:23:45Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Deep Dependency Networks for Multi-Label Classification [24.24496964886951]
  マルコフ確率場とニューラルネットワークを組み合わせた従来の手法の性能は、わずかに改善できることを示す。 我々は、依存性ネットワークを拡張するディープ依存ネットワークと呼ばれる新しいモデリングフレームワークを提案する。 単純さにもかかわらず、この新しいアーキテクチャを共同学習することで、パフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-01T17:52:40Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Smoother Network Tuning and Interpolation for Continuous-level Image Processing [7.730087303035803]
  フィルタ遷移ネットワーク(FTN)は、連続学習のための構造的にスムーズなモジュールである。 FTNは様々なタスクやネットワークをまたいでうまく一般化し、望ましくない副作用を少なくする。 FTNの安定学習のために,IDマッピングを用いた非線形ニューラルネットワーク層を提案する。
  論文  参考訳（メタデータ） (2020-10-05T18:29:52Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。