論文の概要: ParsNets: A Parsimonious Orthogonal and Low-Rank Linear Networks for Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2312.09709v2
• Date: Thu, 21 Dec 2023 09:40:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 17:49:10.793907
• Title: ParsNets: A Parsimonious Orthogonal and Low-Rank Linear Networks for Zero-Shot Learning
• Title（参考訳）: ParsNets: ゼロショット学習のための同期直交・低ランク線形ネットワーク
• Authors: Jingcai Guo, Qihua Zhou, Ruibing Li, Xiaocheng Lu, Ziming Liu, Junyang Chen, Xin Xie, Jie Zhang
• Abstract要約: 本稿では,ParsNetsと呼ばれるゼロショット学習(ZSL)において,既存の深層モデルに対して同等あるいはさらに優れた性能を実現するために,並列かつ効率的な設計手法を提案する。 局所線型性の一般化を容易にするため,クラス内サンプルに低ランク制約を課し,クラス間サンプルに高ランク制約を課すことにより,学習特徴量に対する最大マージン幾何学を構築した。 ZSLにおけるモデルの適応性と相反するオーバー/アンダーフィッティングを強化するために、サンプルワイドインジケータのセットを使用して、これらのベース線形ネットワークからスパースサブセットを選択して複合を形成する。
• 参考スコア（独自算出の注目度）: 22.823915322924304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides a novel parsimonious yet efficient design for zero-shot learning (ZSL), dubbed ParsNets, where we are interested in learning a composition of on-device friendly linear networks, each with orthogonality and low-rankness properties, to achieve equivalent or even better performance against existing deep models. Concretely, we first refactor the core module of ZSL, i.e., visual-semantics mapping function, into several base linear networks that correspond to diverse components of the semantic space, where the complex nonlinearity can be collapsed into simple local linearities. Then, to facilitate the generalization of local linearities, we construct a maximal margin geometry on the learned features by enforcing low-rank constraints on intra-class samples and high-rank constraints on inter-class samples, resulting in orthogonal subspaces for different classes and each subspace lies on a compact manifold. To enhance the model's adaptability and counterbalance over/under-fittings in ZSL, a set of sample-wise indicators is employed to select a sparse subset from these base linear networks to form a composite semantic predictor for each sample. Notably, maximal margin geometry can guarantee the diversity of features, and meanwhile, local linearities guarantee efficiency. Thus, our ParsNets can generalize better to unseen classes and can be deployed flexibly on resource-constrained devices. Theoretical explanations and extensive experiments are conducted to verify the effectiveness of the proposed method.
• Abstract（参考訳）: 本稿では、ゼロショット学習(ZSL)のための新しいパースネット(ParsNets)について、直交性および低ランク性を持つデバイス上のフレンドリな線形ネットワークの構成を学習することに興味を持ち、既存の深層モデルに対して同等あるいはより優れた性能を実現する。 具体的には、まずZSLのコアモジュール、すなわち視覚意味マッピング関数を、複雑な非線形性を単純な局所線型性に分解できる意味空間の様々な構成要素に対応する複数のベース線形ネットワークにリファクタリングする。 次に,局所線型性の一般化を容易にするために,クラス内サンプルの低次制約とクラス間サンプルの高次制約を課し,各部分空間がコンパクト多様体上の直交部分空間となることにより,学習した特徴量に対する最大マージン幾何学を構築する。 zslにおけるモデルの適応性と不適合性を高めるために、これらのベース線形ネットワークからスパース部分集合を選択して各サンプル用の複合意味予測器を形成するサンプルワイズインジケータのセットを用いる。 特に、最大辺幾何学は特徴の多様性を保証し、一方局所線型性は効率を保証できる。 したがって、私たちのParsNetsは、目に見えないクラスをより一般化することができ、リソース制約のあるデバイスに柔軟にデプロイできます。 提案手法の有効性を検証するため,理論的な説明と広範な実験を行った。

関連論文リスト

• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Neural Manifold Clustering and Embedding [13.08270828061924]
  非線型部分空間クラスタリングや多様体クラスタリングは、多様体構造に基づいてデータポイントをクラスタリングすることを目的としており、各多様体を特徴空間内の線型部分空間としてパラメータ化することを学ぶ。 ディープニューラルネットワークは、大きなキャパシティと柔軟性を考えると、高非線形設定でこの目標を達成する可能性がある。 ニューラルネットワークを用いた多様体クラスタリングを実現するには、多様体の識別を保証する領域固有の制約と、特徴空間内の線型部分空間に各多様体を埋め込む学習アルゴリズムの2つの重要な要素が必要であると論じる。
  論文  参考訳（メタデータ） (2022-01-24T23:13:37Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)
• Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model [6.383006473302968]
  線形反復特徴埋め込み(LIFE)と呼ばれる解釈可能なモデルのための新しいアンサンブルフレームワークを開発した。 LIFEは、広い一層ニューラルネットワーク(NN)を正確に3つのステップに適合させることができる。 LIFEは直接訓練された単層NNを一貫して上回り、また他の多くのベンチマークモデルより上です。
  論文  参考訳（メタデータ） (2021-03-18T02:01:17Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。