論文の概要: Almost Right: Making First-layer Kernels Nearly Orthogonal Improves Model Generalization

• arxiv url: http://arxiv.org/abs/2504.16362v1
• Date: Wed, 23 Apr 2025 02:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.978564
• Title: Almost Right: Making First-layer Kernels Nearly Orthogonal Improves Model Generalization
• Title（参考訳）: ほぼ正しい: モデル一般化をほぼ直交的に改善する第一層カーネル
• Authors: Colton R. Crum, Adam Czajka,
• Abstract要約: ネットワークの第1畳み込み層におけるフィルタリングカーネルを正規化する損失成分を提案する。 本報告では, 従来の成果に対して提案した損失を用いて, 一般化性能の大幅な向上を報告した。
• 参考スコア（独自算出の注目度）: 4.737519767218666
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: An ongoing research challenge within several domains in computer vision is how to increase model generalization capabilities. Several attempts to improve model generalization performance are heavily inspired by human perceptual intelligence, which is remarkable in both its performance and efficiency to generalize to unknown samples. Many of these methods attempt to force portions of the network to be orthogonal, following some observation within neuroscience related to early vision processes. In this paper, we propose a loss component that regularizes the filtering kernels in the first convolutional layer of a network to make them nearly orthogonal. Deviating from previous works, we give the network flexibility in which pairs of kernels it makes orthogonal, allowing the network to navigate to a better solution space, imposing harsh penalties. Without architectural modifications, we report substantial gains in generalization performance using the proposed loss against previous works (including orthogonalization- and saliency-based regularization methods) across three different architectures (ResNet-50, DenseNet-121, ViT-b-16) and two difficult open-set recognition tasks: presentation attack detection in iris biometrics, and anomaly detection in chest X-ray images.
• Abstract（参考訳）: コンピュータビジョンにおけるいくつかの領域で進行中の研究課題は、モデル一般化能力の向上である。 モデル一般化性能を改善するいくつかの試みは、人間の知覚知能に強く影響され、未知のサンプルに一般化する性能と効率の両方において顕著である。 これらの手法の多くは、初期の視覚過程に関連する神経科学の観察の後、ネットワークの一部が直交するように強制しようとする。 本稿では,ネットワークの第1畳み込み層におけるフィルタリングカーネルを正規化してほぼ直交させる損失成分を提案する。 これまでの作業から逸脱して、カーネルのペアが直交するネットワークの柔軟性を提供し、ネットワークがより優れたソリューション空間にナビゲートでき、厳しい罰則を課すことができます。 提案手法は,3つの異なるアーキテクチャ(ResNet-50,DenseNet-121,ViT-b-16)と2つの困難なオープンセット認識タスク(虹彩バイオメトリックスにおける提示攻撃検出,胸部X線画像における異常検出)を対象とする。

関連論文リスト

• Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection [58.87142367781417]
  航法的に訓練された検出器は、限定的で単調な偽のパターンに過度に適合する傾向にあり、特徴空間は高度に制約され、低ランクになる。 潜在的な治療法の1つは、ビジョンファウンデーションモデルに事前訓練された知識を取り入れて、機能領域を広げることである。 主成分を凍結し,残った成分のみを適応させることで,偽造関係のパターンを学習しながら,事前学習した知識を保存できる。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation [7.203073346844801]
  本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 本稿では、画像ベースレンダリングではなく、点ベースに基づく一般化可能なニューラルネットワークを構築するための第1のパラダイムを提案する。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。
  論文  参考訳（メタデータ） (2024-01-25T17:58:51Z)
• Mechanism of feature learning in convolutional neural networks [14.612673151889615]
  我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。 我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。 次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-01T16:30:02Z)
• MEPNet: A Model-Driven Equivariant Proximal Network for Joint Sparse-View Reconstruction and Metal Artifact Reduction in CT Images [29.458632068296854]
  我々はMEPNetと呼ばれるモデル駆動の同変近似ネットワークを提案する。 MEPNetは最適化に着想を得ており、明確な動作メカニズムを持っている。 コードをurlhttps://github.com/hongwang01/MEPNetでリリースします。
  論文  参考訳（メタデータ） (2023-06-25T15:50:11Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Unsupervised Industrial Anomaly Detection via Pattern Generative and Contrastive Networks [6.393288885927437]
  本稿では,視覚変換器を用いた教師なし異常検出ネットワークを提案する。 階層的なタスク学習と人間の経験を利用して、その解釈可能性を高めます。 従来の最先端手法を超越した99.8%のAUCを実現した。
  論文  参考訳（メタデータ） (2022-07-20T10:09:53Z)
• InDuDoNet+: A Model-Driven Interpretable Dual Domain Network for Metal Artifact Reduction in CT Images [53.4351366246531]
  InDuDoNet+と呼ばれる新しい解釈可能な二重ドメインネットワークを構築し、CT画像の微細な埋め込みを行う。 異なる組織間のCT値を分析し,InDuDoNet+の事前観測ネットワークにマージすることで,その一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-23T15:52:37Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Liver Segmentation in Abdominal CT Images via Auto-Context Neural Network and Self-Supervised Contour Attention [6.268517865399281]
  腹部CT画像に肝セグメンテーションのためのCNNを導入する。 一般化性能を改善するために,まず1つのCNNにおける自動文脈アルゴリズムを提案する。 提案したネットワークは,ネットワーク間で最高の一般化性能を示した。
  論文  参考訳（メタデータ） (2020-02-14T07:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。