Fugu-MT 論文翻訳(概要): Exploring the Sharpened Cosine Similarity

論文の概要: Exploring the Sharpened Cosine Similarity

arxiv url: http://arxiv.org/abs/2307.13855v1
Date: Tue, 25 Jul 2023 23:02:35 GMT
ステータス: 処理完了
システム内更新日: 2023-07-27 14:05:38.629683
Title: Exploring the Sharpened Cosine Similarity
Title（参考訳）: シャープ化コサイン類似性を探る
Authors: Skyler Wu, Fred Lu, Edward Raff, James Holt
Abstract要約: シャープ化コサイン類似性(SCS)を用いた畳み込みの代替案が提案された。これらの新しいレイヤを使用して、ニューラルネットワークのパフォーマンスのフルスケールな実験的な分析は、これまで行われていない。 SCSは精度が大幅に向上しないかもしれないが、より解釈可能な表現を学ぶことができる。
参考スコア（独自算出の注目度）: 29.36406431693732
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Convolutional layers have long served as the primary workhorse for image classification. Recently, an alternative to convolution was proposed using the Sharpened Cosine Similarity (SCS), which in theory may serve as a better feature detector. While multiple sources report promising results, there has not been to date a full-scale empirical analysis of neural network performance using these new layers. In our work, we explore SCS's parameter behavior and potential as a drop-in replacement for convolutions in multiple CNN architectures benchmarked on CIFAR-10. We find that while SCS may not yield significant increases in accuracy, it may learn more interpretable representations. We also find that, in some circumstances, SCS may confer a slight increase in adversarial robustness.
Abstract（参考訳）: 畳み込み層は長い間、画像分類の主要な作業馬として機能してきた。近年、より優れた特徴検出器として機能するシャープニング・コサイン類似性(SCS)を用いて畳み込みの代替案が提案されている。複数の情報源が有望な結果を報告しているが、これら新しいレイヤを使用してニューラルネットワークのパフォーマンスをフルスケールで実証分析することはない。本研究では,CIFAR-10 上でベンチマークした複数の CNN アーキテクチャにおける畳み込みの代替として SCS のパラメータ挙動と可能性について検討する。 SCSは精度が大幅に向上しないかもしれないが、より解釈可能な表現を学ぶことができる。また, 状況によっては, SCS は敵の強靭性をわずかに増加させる可能性がある。

関連論文リスト

Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
論文参考訳（メタデータ） (2024-06-18T15:15:12Z)
Learning Sparse Neural Networks with Identity Layers [33.11654855515443]
本稿では,ネットワーク空間と層間特徴類似性の関係について検討する。 CKA-SRと呼ばれるスパースネットワークトレーニングのためのプラグアンドプレイCKAベースのスポーラリティ正規化を提案する。 CKA-SRは、複数のState-Of-The-Artスパース訓練法の性能を一貫して改善する。
論文参考訳（メタデータ） (2023-07-14T14:58:44Z)
Sharpend Cosine Similarity based Neural Network for Hyperspectral Image Classification [0.456877715768796]
ハイパースペクトル画像分類(HSIC)は、高いクラス間類似度と変動性、ネスト領域、重なり合いのため難しい課題である。 2D畳み込みニューラルネットワーク(CNN)は有効なネットワークとして登場したが、3D CNNは正確な分類のため、より良い代替手段である。本稿では,HSICのためのニューラルネットワークにおける畳み込みの代替として,SCS(Sharpened Cosine similarity)の概念を紹介する。
論文参考訳（メタデータ） (2023-05-26T07:04:00Z)
Sorted Convolutional Network for Achieving Continuous Rotational Invariance [56.42518353373004]
テクスチャ画像のハンドメイドな特徴に着想を得たSorting Convolution (SC)を提案する。 SCは、追加の学習可能なパラメータやデータ拡張を必要とせずに連続的な回転不変性を達成する。以上の結果から, SCは, 上記の課題において, 最高の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-05-23T18:37:07Z)
Demystify Transformers & Convolutions in Modern Image Deep Networks [82.32018252867277]
本稿では,一般のコンボリューションとアテンション演算子の真の利益を,詳細な研究により同定することを目的とする。注意や畳み込みのようなこれらの特徴変換モジュールの主な違いは、それらの空間的特徴集約アプローチにある。各種課題の実験と帰納的バイアスの解析により,ネットワークレベルとブロックレベルの高度な設計により,性能が著しく向上した。
論文参考訳（メタデータ） (2022-11-10T18:59:43Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
Textural-Structural Joint Learning for No-Reference Super-Resolution Image Quality Assessment [59.91741119995321]
我々は、TSNetと呼ばれる品質予測のためのテキスト情報と構造情報を共同で探索するデュアルストリームネットワークを開発した。画像の重要な領域に注意を払っている人間の視覚システム(HVS)を模倣することにより、視覚に敏感な領域をより区別しやすくするための空間的注意機構を開発する。実験の結果,提案したTSNetは現状のIQA法よりも視覚的品質を正確に予測し,人間の視点との整合性を示した。
論文参考訳（メタデータ） (2022-05-27T09:20:06Z)
A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文参考訳（メタデータ） (2022-03-21T14:53:57Z)
Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文参考訳（メタデータ） (2022-03-09T16:17:47Z)
Investigating the Potential of Auxiliary-Classifier GANs for Image Classification in Low Data Regimes [12.128005423388226]
本稿では、画像分類のための「ワンストップショップ」アーキテクチャとして、補助分類型GAN(AC-GAN)の可能性を検討する。 AC-GANは画像分類において有望であり、標準CNNとの競合性能を達成する。
論文参考訳（メタデータ） (2022-01-22T19:33:16Z)
Triage of Potential COVID-19 Patients from Chest X-ray Images using Hierarchical Convolutional Networks [5.7179132552879395]
新型コロナウイルス(COVID-19)のパンデミックは、逆転写-ポリメラーゼ連鎖反応(RT-PCR)の代替として人工知能技術を使うことを研究者に動機付けている。胸部X線(CXR)は早期診断のための代替手段の1つであるが、大規模な注釈付きデータの有効性は、機械学習による新型コロナウイルス検出の臨床的実装を困難にしている。本稿では,階層型畳み込みネットワーク(HCN)アーキテクチャを用いて,データを自然に拡張する手法を提案する。
論文参考訳（メタデータ） (2020-11-01T20:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。