論文の概要: Redesigning the classification layer by randomizing the class representation vectors

• arxiv url: http://arxiv.org/abs/2011.08704v2
• Date: Sun, 29 Nov 2020 08:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 00:51:49.598119
• Title: Redesigning the classification layer by randomizing the class representation vectors
• Title（参考訳）: クラス表現ベクトルのランダム化による分類層の再設計
• Authors: Gabi Shalev and Gal-Lev Shalev and Joseph Keshet
• Abstract要約: 分類層の設計選択が学習力学にどのように影響するかを分析する。 標準的なクロスエントロピートレーニングは,異なるクラス間の視覚的類似性を暗黙的に捉えていることを示す。 そこで本研究では,クラスベクトルをランダムに描画し,トレーニング中にそれらを固定した上で,これらのベクトルに符号化された視覚的類似性を無効にすることを提案する。
• 参考スコア（独自算出の注目度）: 12.953517767147998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural image classification models typically consist of two components. The first is an image encoder, which is responsible for encoding a given raw image into a representative vector. The second is the classification component, which is often implemented by projecting the representative vector onto target class vectors. The target class vectors, along with the rest of the model parameters, are estimated so as to minimize the loss function. In this paper, we analyze how simple design choices for the classification layer affect the learning dynamics. We show that the standard cross-entropy training implicitly captures visual similarities between different classes, which might deteriorate accuracy or even prevents some models from converging. We propose to draw the class vectors randomly and set them as fixed during training, thus invalidating the visual similarities encoded in these vectors. We analyze the effects of keeping the class vectors fixed and show that it can increase the inter-class separability, intra-class compactness, and the overall model accuracy, while maintaining the robustness to image corruptions and the generalization of the learned concepts.
• Abstract（参考訳）: 神経画像分類モデルは、典型的には2つの構成要素からなる。 1つ目はイメージエンコーダで、与えられた生画像を代表ベクトルに符号化する。 2つ目は分類要素であり、しばしば対象のクラスベクトルに代表ベクトルを投影することで実装される。 対象のクラスベクトルは、残りのモデルパラメータとともに、損失関数を最小限に抑えるために推定される。 本稿では,分類層の設計選択が学習力学にどのように影響するかを解析する。 標準のクロスエントロピートレーニングは、異なるクラス間の視覚的類似性を暗黙的に捉え、精度を低下させたり、いくつかのモデルが収束するのを防いだりする。 我々は,クラスベクトルをランダムに描画し,トレーニング中に固定化することで,これらのベクトルで符号化された視覚類似性を無効化する。 本研究では,クラスベクトルの固定性に着目し,クラス間分離性,クラス内コンパクト性,モデル全体の精度を向上し,画像破損に対する頑健性と学習概念の一般化を維持できることを示す。

関連論文リスト

• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• Ablation Study to Clarify the Mechanism of Object Segmentation in Multi-Object Representation Learning [3.921076451326107]
  マルチオブジェクト表現学習は、複数のオブジェクトの合成を用いて、複雑な実世界の視覚入力を表現することを目的としている。 従来の手法が個々のオブジェクトの適切なセグメンテーションを達成できたかは明らかになっていない。 従来の手法のほとんどは変分オートエンコーダ(VAE)を用いて潜在ベクトルを正則化する。
  論文  参考訳（メタデータ） (2023-10-05T02:59:48Z)
• Unicom: Universal and Compact Representation Learning for Image Retrieval [65.96296089560421]
  大規模LAION400Mを,CLIPモデルにより抽出された共同テキストと視覚的特徴に基づいて,100万の擬似クラスにクラスタリングする。 このような矛盾を緩和するために、我々は、マージンベースのソフトマックス損失を構築するために、ランダムにクラス間の部分的なプロトタイプを選択する。 提案手法は,複数のベンチマークにおいて,教師なし,教師なしの画像検索手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-12T14:25:52Z)
• Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks [5.1271832547387115]
  ニューラル表現の確率モデルを利用して、残余ネットワークがクラスにどのように適合するかを調べる。 調査対象モデルのクラスは均一に適合していないことがわかった。 神経表現の未発見構造は, トレーニング例の堅牢性と, 対向記憶の相関性を示す。
  論文  参考訳（メタデータ） (2022-12-01T18:55:58Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• On the rate of convergence of a classifier based on a Transformer encoder [55.41148606254641]
  最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。 この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
  論文  参考訳（メタデータ） (2021-11-29T14:58:29Z)
• GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition [33.23662792742078]
  ゼロショット動作認識のための2段階のディープニューラルネットワークを提案する。 サンプリング段階では,授業の動作特徴と単語ベクトルによって訓練されたGAN(Generative Adversarial Network)を利用する。 分類段階において、アクションクラスの単語ベクトルと関連するオブジェクトの関係に基づいて知識グラフを構築する。
  論文  参考訳（メタデータ） (2021-05-25T09:34:42Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。