Fugu-MT 論文翻訳(概要): Get the Best of Both Worlds: Improving Accuracy and Transferability by Grassmann Class Representation

論文の概要: Get the Best of Both Worlds: Improving Accuracy and Transferability by Grassmann Class Representation

arxiv url: http://arxiv.org/abs/2308.01547v1
Date: Thu, 3 Aug 2023 06:02:02 GMT
ステータス: 処理完了
システム内更新日: 2023-08-04 15:18:27.766980
Title: Get the Best of Both Worlds: Improving Accuracy and Transferability by Grassmann Class Representation
Title（参考訳）: 両世界のベストを尽くす - grassmann クラス表現による精度と転送性の向上
Authors: Haoqi Wang, Zhizhong Li and Wayne Zhang
Abstract要約: Grassmann Class Representation (GCR) は精度と特徴伝達性を同時に改善できることを示す。 GCRでは、各クラスは部分空間であり、ロジットはクラス部分空間への特徴の射影のノルムとして定義される。 ImageNet-1Kでは,ResNet50-D,ResNeXt50,Swin-T,Deit3-Sの各トップ1エラーをそれぞれ5.6%,4.5%,3.0%,3.5%削減した。
参考スコア（独自算出の注目度）: 20.593106313851685
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We generalize the class vectors found in neural networks to linear subspaces (i.e.~points in the Grassmann manifold) and show that the Grassmann Class Representation (GCR) enables the simultaneous improvement in accuracy and feature transferability. In GCR, each class is a subspace and the logit is defined as the norm of the projection of a feature onto the class subspace. We integrate Riemannian SGD into deep learning frameworks such that class subspaces in a Grassmannian are jointly optimized with the rest model parameters. Compared to the vector form, the representative capability of subspaces is more powerful. We show that on ImageNet-1K, the top-1 error of ResNet50-D, ResNeXt50, Swin-T and Deit3-S are reduced by 5.6%, 4.5%, 3.0% and 3.5%, respectively. Subspaces also provide freedom for features to vary and we observed that the intra-class feature variability grows when the subspace dimension increases. Consequently, we found the quality of GCR features is better for downstream tasks. For ResNet50-D, the average linear transfer accuracy across 6 datasets improves from 77.98% to 79.70% compared to the strong baseline of vanilla softmax. For Swin-T, it improves from 81.5% to 83.4% and for Deit3, it improves from 73.8% to 81.4%. With these encouraging results, we believe that more applications could benefit from the Grassmann class representation. Code is released at https://github.com/innerlee/GCR.
Abstract（参考訳）: ニューラルネットワークで見つかるクラスベクトルを線形部分空間(すなわちグラスマン多様体の~点)に一般化し、グラスマンクラス表現(GCR)が精度と特徴伝達性を同時に改善できることを示す。 gcr において、各クラスは部分空間であり、ロジットはクラス部分空間への特徴の射影のノルムとして定義される。我々はリーマンSGDを、グラスマンのクラス部分空間が残りのモデルパラメータと共に最適化されるようなディープラーニングフレームワークに統合する。ベクトル形式と比較して、部分空間の代表能力はより強力である。 ImageNet-1Kでは,ResNet50-D,ResNeXt50,Swin-T,Deit3-Sの各トップ1エラーをそれぞれ5.6%,4.5%,3.0%,3.5%削減した。部分空間は特徴が変化する自由も提供し、サブ空間次元が大きくなるとクラス内の特徴変数が増加することを観察した。その結果,gcr機能の品質は下流タスクより優れていることがわかった。 ResNet50-Dでは、6つのデータセットの平均線形転送精度が77.98%から79.70%に向上する。 Swin-Tでは81.5%から83.4%に改善され、Deit3では73.8%から81.4%に改善されている。これらの奨励的な結果により、より多くのアプリケーションがグラスマンクラス表現の恩恵を受けると信じています。コードはhttps://github.com/innerlee/gcrでリリースされる。

関連論文リスト

RISurConv: Rotation Invariant Surface Attention-Augmented Convolutions for 3D Point Cloud Classification and Segmentation [17.558376773179337]
本稿では,3次元点雲の分類とセグメンテーションのための新しい効果的な回転不変アーキテクチャを提案する。高精度を維持しつつ、任意の回転に不変な3次元点雲解析に有効なニューラルネットワークを構築した。
論文参考訳（メタデータ） (2024-08-12T12:47:37Z)
Revealing the Utilized Rank of Subspaces of Learning in Neural Networks [3.4133351364625275]
ニューラルネットワークの学習重量が、利用可能な空間をどのように活用するかを研究する。ほとんどの学習された重みはフルランクのように見えるため、低ランクの分解には耐えられない。データと重みが相互作用する部分空間に重みを投影する単純なデータ駆動変換を提案する。
論文参考訳（メタデータ） (2024-07-05T18:14:39Z)
Closing the gap: Optimizing Guidance and Control Networks through Neural ODEs [5.472114129137035]
我々は、時間-最適移動と質量-最適着陸の最適制御ポリシーを表現するためにネットワークを訓練する。軌道移動では、目標への最終誤差は1つの軌道で99%、500軌道で70%減少する。このステップにより、G&CNETの精度が大幅に向上し、運用上の信頼性が向上する。
論文参考訳（メタデータ） (2024-04-25T13:14:32Z)
Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文参考訳（メタデータ） (2024-01-13T04:16:40Z)
Efficient CNN Architecture Design Guided by Visualization [13.074652653088584]
VGNetG-1.0MPは0.99Mパラメータで67.7%、ImageNet分類データセットで1.14Mパラメータで69.2%である。我々のVGNetF-1.5MPは64.4%(-3.2%)のトップ1の精度と66.2%(-1.4%)のトップ1の精度でガウスカーネルを追加している。
論文参考訳（メタデータ） (2022-07-21T06:22:15Z)
Efficient, Uncertainty-based Moderation of Neural Networks Text Classifiers [8.883733362171034]
本稿では,分類器の出力を効率よく操作できるフレームワークを提案する。予測の不確実性を利用して、不確実で、おそらく不正確な分類を人間のモデレーターに渡す半自動化アプローチを提案する。一連のベンチマーク実験により、我々のフレームワークは分類F1スコアを5.1から11.2%改善できることが示された。
論文参考訳（メタデータ） (2022-04-04T09:07:54Z)
UniFormer: Unifying Convolution and Self-attention for Visual Recognition [69.68907941116127]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、ここ数年で主要なフレームワークである。コンボリューションと自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。我々のUniFormerはImageNet-1K分類において86.3トップ1の精度を実現している。
論文参考訳（メタデータ） (2022-01-24T04:39:39Z)
Uniformer: Unified Transformer for Efficient Spatiotemporal Representation Learning [68.55487598401788]
この研究の最近の進歩は、主に3D畳み込みニューラルネットワークと視覚変換器によって推進されている。本稿では3次元畳み込み自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。我々は、Kineetics-400、Kineetics-600、Something V1&V2といった人気ビデオベンチマークで広範な実験を行っている。我々の UniFormer は Kinetics-400/Kinetics-600 で 8/84.8% のトップ-1 の精度を実現している。
論文参考訳（メタデータ） (2022-01-12T20:02:32Z)
Involution: Inverting the Inherence of Convolution for Visual Recognition [72.88582255910835]
本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
論文参考訳（メタデータ） (2021-03-10T18:40:46Z)
Self Sparse Generative Adversarial Networks [73.590634413751]
GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
論文参考訳（メタデータ） (2021-01-26T04:49:12Z)
Rethinking Spatially-Adaptive Normalization [111.13203525538496]
クラス適応正規化(CLADE)は、空間的位置やレイアウトに適応しない軽量な変種である。 CLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。
論文参考訳（メタデータ） (2020-04-06T17:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。