論文の概要: Loss Functions for Classification using Structured Entropy

• arxiv url: http://arxiv.org/abs/2206.07122v1
• Date: Tue, 14 Jun 2022 19:25:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 01:44:59.458199
• Title: Loss Functions for Classification using Structured Entropy
• Title（参考訳）: 構造エントロピーを用いた分類における損失関数
• Authors: Brian Lucena
• Abstract要約: 対象変数の構造を組み込むためにランダムなパーティショニングを用いてエントロピーを一般化するエム構造エントロピーを提案する。 対象変数が既知構造を持ついくつかの分類問題に対して, 構造的クロスエントロピー損失がより良い結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.8275108630751844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-entropy loss is the standard metric used to train classification models in deep learning and gradient boosting. It is well-known that this loss function fails to account for similarities between the different values of the target. We propose a generalization of entropy called {\em structured entropy} which uses a random partition to incorporate the structure of the target variable in a manner which retains many theoretical properties of standard entropy. We show that a structured cross-entropy loss yields better results on several classification problems where the target variable has an a priori known structure. The approach is simple, flexible, easily computable, and does not rely on a hierarchically defined notion of structure.
• Abstract（参考訳）: クロスエントロピー損失は、ディープラーニングや勾配向上における分類モデルのトレーニングに使用される標準指標である。 この損失関数がターゲットの異なる値間の類似性を説明できないことはよく知られている。 本稿では,標準エントロピーの多くの理論的な性質を保ちながら,対象変数の構造をランダムな分割で組み込む「em structured entropy」と呼ばれるエントロピーの一般化を提案する。 対象変数が既知構造を持ついくつかの分類問題に対して, 構造的クロスエントロピー損失がより良い結果をもたらすことを示す。 このアプローチはシンプルで柔軟性があり、容易に計算可能であり、階層的に定義された構造の概念に依存しない。

関連論文リスト

• The Implicit Bias of Gradient Descent on Separable Multiclass Data [38.05903703331163]
  我々は、指数的尾特性のマルチクラス拡張を導入するために、置換同変と相対マージンベース(PERM)損失の枠組みを用いる。 提案手法は二分法の場合をよく反映しており,二分法と多分法のギャップを埋めるためのPERMフレームワークの威力を示すものである。
  論文  参考訳（メタデータ） (2024-11-02T19:39:21Z)
• Likelihood-based Differentiable Structure Learning [38.25218464260965]
  有向非巡回グラフ(DAG)の微分可能な構造学習への既存のアプローチは、強い識別可能性仮定に依存している。 一般確率下での微分可能非周期制約プログラムの挙動を解析することにより,これらの問題を説明・改善する。
  論文  参考訳（メタデータ） (2024-10-08T16:08:24Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Differentiable and Transportable Structure Learning [73.84540901950616]
  本稿では,新しいアーキテクチャと損失関数により,発見された構造物の輸送性を回復するD-Structを紹介する。 D-Structは依然として微分可能であるため、既存の微分可能アーキテクチャでは容易に適用できる。
  論文  参考訳（メタデータ） (2022-06-13T17:50:53Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Entropic alternatives to initialization [0.0]
  統計物理学および情報理論の言語における異方性局所的エントロピー滑らか化の解析を行う。 我々は、再正規化の物理と畳み込みネットワークの時空構造に関するいくつかの側面を論じる。
  論文  参考訳（メタデータ） (2021-07-16T08:17:32Z)
• Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning [18.464203215845373]
  構造化3変量テンソルをその構成的ポリアディック(CP)因子に分解する問題を考察する。 我々は、構造化テンソル因子分解のための証明可能なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-30T00:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。