論文の概要: The Tree Loss: Improving Generalization with Many Classes

• arxiv url: http://arxiv.org/abs/2204.07727v1
• Date: Sat, 16 Apr 2022 05:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 14:08:32.795970
• Title: The Tree Loss: Improving Generalization with Many Classes
• Title（参考訳）: ツリー損失:多くのクラスで一般化を改善する
• Authors: Yujie Wang, Mike Izbicki
• Abstract要約: 多クラス分類問題はしばしば意味論的に類似したクラスを持つ。 クロスエントロピー損失の代替として,木損失を導入している。 勾配降下の単純な性質を用いて、木損失の誤差はクロスエントロピー損失の誤差よりも一般化的に優れていることを示す。
• 参考スコア（独自算出の注目度）: 11.96892704837643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-class classification problems often have many semantically similar classes. For example, 90 of ImageNet's 1000 classes are for different breeds of dog. We should expect that these semantically similar classes will have similar parameter vectors, but the standard cross entropy loss does not enforce this constraint. We introduce the tree loss as a drop-in replacement for the cross entropy loss. The tree loss re-parameterizes the parameter matrix in order to guarantee that semantically similar classes will have similar parameter vectors. Using simple properties of stochastic gradient descent, we show that the tree loss's generalization error is asymptotically better than the cross entropy loss's. We then validate these theoretical results on synthetic data, image data (CIFAR100, ImageNet), and text data (Twitter).
• Abstract（参考訳）: 多クラス分類問題はしばしば意味論的に類似したクラスを持つ。 例えば、imagenetの1000クラスのうち90クラスは、異なる種類の犬用である。 これらの意味的に類似したクラスは類似のパラメータベクトルを持つと期待すべきであるが、標準のクロスエントロピー損失は、この制約を強制しない。 我々は,クロスエントロピー損失の代替として木損失を導入する。 ツリーロスはパラメータ行列を再パラメータ化し、意味的に類似したクラスが類似のパラメータベクトルを持つことを保証する。 確率的勾配降下の単純な性質を用いて,木損失の一般化誤差は交叉エントロピー損失よりも漸近的に優れていることを示した。 次に、これらの理論結果を合成データ、画像データ(CIFAR100, ImageNet)、テキストデータ(Twitter)で検証する。

関連論文リスト

• Harnessing Superclasses for Learning from Hierarchical Databases [1.835004446596942]
  多くの大規模分類問題において、クラスは既知の階層に整理され、通常木として表される。 この種の教師付き階層分類の損失について紹介する。 提案手法では,クロスエントロピーの損失に比較して,計算コストの大幅な増大は伴わない。
  論文  参考訳（メタデータ） (2024-11-25T14:39:52Z)
• Cut your Losses with Squentropy [19.924900110707284]
  ここでは、クロスエントロピー損失と、不正なクラスに対する平均平方損失という2つの項の和である「スカントロピー」損失を提案する。 その結果, スクエントロピーの損失は, 純粋なクロスエントロピーと再スケールした正方形損失の両方において, 分類精度において優れていた。
  論文  参考訳（メタデータ） (2023-02-08T09:21:13Z)
• Tree Energy Loss: Towards Sparsely Annotated Semantic Segmentation [141.16965264264195]
  Sparsely Annotated semantic segmentation (SASS) は、粗い粒度の監督によるセグメンテーションネットワークのトレーニングを目的としている。 ラベルなし画素のセマンティックガイダンスを提供することにより,SASSの新たなツリーエネルギー損失を提案する。
  論文  参考訳（メタデータ） (2022-03-21T05:16:23Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Active-LATHE: An Active Learning Algorithm for Boosting the Error Exponent for Learning Homogeneous Ising Trees [75.93186954061943]
  我々は、$rho$が少なくとも0.8$である場合に、エラー指数を少なくとも40%向上させるアルゴリズムを設計し、分析する。 我々の分析は、グラフの一部により多くのデータを割り当てるために、微小だが検出可能なサンプルの統計的変動を巧みに活用することに基づいている。
  論文  参考訳（メタデータ） (2021-10-27T10:45:21Z)
• GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition [95.93760490301395]
  長い尾の認識は、クラスごとのサンプル数が非常にアンバランスである問題です。 GistNetは、クラスジオメトリをエンコードするために分類パラメータのコンステレーションを使用して、この目標をサポートするように提案されている。 新しい学習アルゴリズムがGeometrIc Structure Transfer (GIST) に提案され、クラスバランスとランダムサンプリングを組み合わせた損失関数の組み合わせにより、一般的なクラスに過度に適合することは幾何パラメータに制限されるが、人気クラスから少数ショットクラスへのクラス幾何学の転送に利用される。
  論文  参考訳（メタデータ） (2021-05-01T00:37:42Z)
• Exploiting Class Similarity for Machine Learning with Confidence Labels and Projective Loss Functions [0.0]
  クラスラベルは相互に関連付けられており、特定のクラスラベルは他のクラスと類似している。 現在のラベリング技術では、このような類似情報を明示的に捉えられていない。 ノイズラベルは、クラス類似性から生じる難易度の結果であると考えるので、ノイズラベルを用いたニューラルネットワークのトレーニングに使用しています。
  論文  参考訳（メタデータ） (2021-03-25T04:49:44Z)
• Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation [75.93960390191262]
  我々は、オブジェクトカテゴリ間の関係に関する事前知識を利用して、きめ細かいクラスを粗い親クラスにクラスタリングする。 そこで本研究では,NMS再サンプリング法を提案する。 提案手法はフォレストR-CNNと呼ばれ,ほとんどのオブジェクト認識モデルに適用可能なプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2020-08-13T03:52:37Z)
• Beyond Triplet Loss: Meta Prototypical N-tuple Loss for Person Re-identification [118.72423376789062]
  マルチクラス分類損失(N-tuple loss)を導入し、クエリごとの最適化のために複数の(N)インスタンスを共同で検討する。 マルチクラス分類を組み込んだモデルにより,ベンチマーク対象のReIDデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-06-08T23:34:08Z)
• Hierarchical Class-Based Curriculum Loss [18.941207332233805]
  ほとんどの実世界のデータにはラベル間の依存関係があり、階層構造を使ってキャプチャできる。 i) ラベル空間に存在する階層的制約を満たすことと, (ii) 階層のレベルに基づいてラベルに一様でない重みを与えるという2つの特性を持つ損失関数, 階層的カリキュラム損失を提案する。
  論文  参考訳（メタデータ） (2020-06-05T18:48:57Z)
• SimLoss: Class Similarities in Cross Entropy [3.814858728853163]
  我々はCCE(Categorical Cross Entropy)の代替品であるSimLossを紹介する。 SimLossはクラス類似性と、タスク固有の知識からそのような行列を構成する2つのテクニックを取り入れている。 年齢推定と画像分類のSimLossを検証したところ、いくつかの指標でCCEよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2020-03-06T13:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。