論文の概要: Maximum Class Separation as Inductive Bias in One Matrix

• arxiv url: http://arxiv.org/abs/2206.08704v1
• Date: Fri, 17 Jun 2022 11:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 12:51:58.542261
• Title: Maximum Class Separation as Inductive Bias in One Matrix
• Title（参考訳）: 誘導バイアスとしての最大クラス分離
• Authors: Tejaswi Kasarla, Gertjan J. Burghouts, Max van Spengler, Elise van der Pol, Rita Cucchiara, Pascal Mettes
• Abstract要約: クラス間の分離を最大化することは、機械学習におけるよく知られた帰納バイアスを構成する。 本稿では,1つの固定行列乗算を加えることで,ネットワーク内の帰納バイアスとして最大分離を符号化することを提案する。 提案手法は, CIFAR から ImageNet への分類, 長距離認識, アウト・オブ・ディストリビューション検出, オープン・セット認識を直接促進する。
• 参考スコア（独自算出の注目度）: 34.6951258805787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximizing the separation between classes constitutes a well-known inductive bias in machine learning and a pillar of many traditional algorithms. By default, deep networks are not equipped with this inductive bias and therefore many alternative solutions have been proposed through differential optimization. Current approaches tend to optimize classification and separation jointly: aligning inputs with class vectors and separating class vectors angularly. This paper proposes a simple alternative: encoding maximum separation as an inductive bias in the network by adding one fixed matrix multiplication before computing the softmax activations. The main observation behind our approach is that separation does not require optimization but can be solved in closed-form prior to training and plugged into a network. We outline a recursive approach to obtain the matrix consisting of maximally separable vectors for any number of classes, which can be added with negligible engineering effort and computational overhead. Despite its simple nature, this one matrix multiplication provides real impact. We show that our proposal directly boosts classification, long-tailed recognition, out-of-distribution detection, and open-set recognition, from CIFAR to ImageNet. We find empirically that maximum separation works best as a fixed bias; making the matrix learnable adds nothing to the performance. The closed-form implementation and code to reproduce the experiments are on github.
• Abstract（参考訳）: クラス間の分離を最大化することは、機械学習におけるよく知られた帰納バイアスと、多くの伝統的なアルゴリズムの柱を構成する。 デフォルトでは、ディープネットワークにはこの帰納バイアスが備わっていないため、微分最適化を通じて多くの代替解が提案されている。 現在のアプローチでは、分類と分離を共同で最適化する傾向がある: 入力をクラスベクトルにアライメントし、クラスベクトルを角的に分離する。 本稿では,ソフトマックスアクティベーションを演算する前に1つの固定行列乗算を加えることで,ネットワーク内の帰納バイアスとして最大分離を符号化する簡単な方法を提案する。 このアプローチの背後にある主な観察は、分離は最適化を必要としないが、トレーニング前にクローズドフォームで解決し、ネットワークにプラグインできるということだ。 本稿では,任意のクラスに対して最大分離可能なベクトルからなる行列を得るための再帰的アプローチについて概説する。 単純な性質にもかかわらず、この1つの行列乗法は真の影響をもたらす。 提案手法は, CIFAR から ImageNet への分類, 長距離認識, アウト・オブ・ディストリビューション検出, オープンセット認識を直接促進する。 最大分離は固定バイアスとして最適であり、マトリックスを学習可能にすることは性能に何の影響を与えない。 実験を再現するためのクローズドな実装とコードはgithubにある。

関連論文リスト

• Sparser, Better, Deeper, Stronger: Improving Sparse Training with Exact Orthogonal Initialization [49.06421851486415]
  静的スパーストレーニングは、スパースモデルをスクラッチからトレーニングすることを目的としており、近年顕著な成果を上げている。 ランダムなアジェンダ回転に基づく新しいスパースな直交初期化スキームであるExact Orthogonal Initialization (EOI)を提案する。 本手法は,残差接続や正規化を伴わずに,1000層ネットワークとCNNネットワークを疎結合に訓練することができる。
  論文  参考訳（メタデータ） (2024-06-03T19:44:47Z)
• Tensor networks based quantum optimization algorithm [0.0]
  最適化において、よく知られた古典的アルゴリズムの1つは電力反復である。 我々はこの落とし穴を回避するために量子化を提案する。 我々の手法はインスタンス非依存となり、量子コンピューティングの枠組みの中でブラックボックス最適化に対処することができる。
  論文  参考訳（メタデータ） (2024-04-23T13:49:11Z)
• Look-ups are not (yet) all you need for deep learning inference [0.0]
  行列乗算に対する高速な近似は、ニューラルネットワーク推論のコストを劇的に削減する可能性がある。 学習データから高速なハッシュ関数を組み込むことにより,コストのかかる行列乗法をテーブル・ルックアップに置き換えるための近似行列乗法に関する最近の研究が進められている。 本研究は,本研究の深層学習推論設定を対象とする,従来の研究の改善を提案する。
  論文  参考訳（メタデータ） (2022-07-12T19:46:23Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Improved Knowledge Distillation via Full Kernel Matrix Transfer [21.533095275253466]
  知識蒸留は深層学習におけるモデル圧縮に有効な方法である。 元の完全行列をNystr"om法で分解する。 完全行列と比較して、部分行列のサイズは例の数で線型である。
  論文  参考訳（メタデータ） (2020-09-30T04:03:09Z)
• Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix [57.11971786407279]
  マルチビュースペクトルクラスタリングは、データ間の固有のクラスタ構造を効果的に明らかにすることができる。 本稿では,高次最適近傍ラプラシア行列を学習するマルチビュースペクトルクラスタリングアルゴリズムを提案する。 提案アルゴリズムは, 1次ベースと高次ベースの両方の線形結合の近傍を探索し, 最適ラプラシア行列を生成する。
  論文  参考訳（メタデータ） (2020-08-31T12:28:40Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。