論文の概要: Logits are predictive of network type

• arxiv url: http://arxiv.org/abs/2211.02272v1
• Date: Fri, 4 Nov 2022 05:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 15:40:55.576395
• Title: Logits are predictive of network type
• Title（参考訳）: ログはネットワークタイプを予測する
• Authors: Ali Borji
• Abstract要約: どのディープネットワークが与えられたロジットベクトルを生成したのかを、確率よりはるかに高い精度で予測することが可能である。 データセット上には、ランダムな重みや事前訓練された重みを持つネットワークや、微調整されたネットワークを多数使用しています。
• 参考スコア（独自算出の注目度）: 47.64219291655723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that it is possible to predict which deep network has generated a given logit vector with accuracy well above chance. We utilize a number of networks on a dataset, initialized with random weights or pretrained weights, as well as fine-tuned networks. A classifier is then trained on the logit vectors of the trained set of this dataset to map the logit vector to the network index that has generated it. The classifier is then evaluated on the test set of the dataset. Results are better with randomly initialized networks, but also generalize to pretrained networks as well as fine-tuned ones. Classification accuracy is higher using unnormalized logits than normalized ones. We find that there is little transfer when applying a classifier to the same networks but with different sets of weights. In addition to help better understand deep networks and the way they encode uncertainty, we anticipate our finding to be useful in some applications (e.g. tailoring an adversarial attack for a certain type of network). Code is available at https://github.com/aliborji/logits.
• Abstract（参考訳）: 我々は,どのディープネットワークが与えられたロジットベクトルを精度良く生成したかを予測することができることを示す。 データセット上で多数のネットワークを利用し、ランダムな重みや事前訓練された重みで初期化し、微調整されたネットワークも利用します。 次に、分類器がトレーニングされたデータセットのロジットベクトルに基づいてトレーニングされ、ロジットベクトルを生成されたネットワークインデックスにマッピングする。 次に、分類器はデータセットのテストセットで評価される。 ランダムに初期化されたネットワークでは結果が良くなり、事前訓練されたネットワークや微調整されたネットワークにも一般化される。 非正規化ロジットは正規化ロジットよりも分類精度が高い。 同一ネットワークに分類器を適用する場合,重みのセットが異なる場合,転送がほとんどないことがわかった。 ディープネットワークとそれらが不確実性をエンコードする方法をよりよく理解するために、いくつかのアプリケーション(例えば、ある種類のネットワークに対する敵の攻撃を調整するなど)で有用であると予測する。 コードはhttps://github.com/aliborji/logitsで入手できる。

関連論文リスト

• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• The smooth output assumption, and why deep networks are better than wide ones [0.0]
  モデルがどのように一般化するかを予測する新しい尺度を提案する。 現実には、概念間の境界が一般に形骸化していないという事実に基づいている。
  論文  参考訳（メタデータ） (2022-11-25T19:05:44Z)
• Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
  我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。 特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。 その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-04-29T14:27:42Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Bit-wise Training of Neural Network Weights [4.56877715768796]
  ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。 この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。 完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
  論文  参考訳（メタデータ） (2022-02-19T10:46:54Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)
• Is Each Layer Non-trivial in CNN? [11.854634156817642]
  畳み込みニューラルネットワーク(CNN)モデルは、多くの分野で大きな成功を収めている。 ResNetの出現により、実際に使われているネットワークはより深くなりつつある。 トレーニングセット上でネットワークをトレーニングした後、ネットワーク畳み込みカーネルをゼロに置き換え、テストセット上で結果モデルをテストする。
  論文  参考訳（メタデータ） (2020-09-09T02:17:49Z)
• Digit Image Recognition Using an Ensemble of One-Versus-All Deep Network Classifiers [2.385916960125935]
  本稿では,デジタル画像認識とテストのための新しい手法を実装し,その上で評価する。 アンサンブル内の全てのネットワークは、SGDMA(Gradient Descent with Momentum)を用いたOVAトレーニング技術によって訓練されている。 提案手法は,全データセットの数値画像認識におけるベースラインよりも優れている。
  論文  参考訳（メタデータ） (2020-06-28T15:37:39Z)
• Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
  現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。 私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。 これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-18T06:04:58Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。