論文の概要: Functional Properties of the Focal-Entropy
- arxiv url: http://arxiv.org/abs/2603.02533v1
- Date: Tue, 03 Mar 2026 02:45:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.60519
- Title: Functional Properties of the Focal-Entropy
- Title（参考訳）: 焦点エントロピーの機能特性
- Authors: Jaimin Shah, Martina Cardone, Alex Dytso,
- Abstract要約: 我々は、クロスエントロピーの焦点損失アナログである焦点エントロピーについて研究する。
焦点損失は中距離確率を増幅し、高い確率結果を抑制し、過剰な抑制体制を誘導することを示す。
- 参考スコア（独自算出の注目度）: 27.011713593435243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The focal-loss has become a widely used alternative to cross-entropy in class-imbalanced classification problems, particularly in computer vision. Despite its empirical success, a systematic information-theoretic study of the focal-loss remains incomplete. In this work, we adopt a distributional viewpoint and study the focal-entropy, a focal-loss analogue of the cross-entropy. Our analysis establishes conditions for finiteness, convexity, and continuity of the focal-entropy, and provides various asymptotic characterizations. We prove the existence and uniqueness of the focal-entropy minimizer, describe its structure, and show that it can depart significantly from the data distribution. In particular, we rigorously show that the focal-loss amplifies mid-range probabilities, suppresses high-probability outcomes, and, under extreme class imbalance, induces an over-suppression regime in which very small probabilities are further diminished. These results, which are also experimentally validated, offer a theoretical foundation for understanding the focal-loss and clarify the trade-offs that it introduces when applied to imbalanced learning tasks.
- Abstract（参考訳）: 焦点空間は、クラス不均衡な分類問題、特にコンピュータビジョンにおけるクロスエントロピーの代替として広く使われている。
実証的な成功にもかかわらず、焦点空間に関する体系的な情報理論の研究は不完全である。
本研究では、分布的視点を採用し、クロスエントロピーの焦点-空間類似体である焦点-エントロピーを研究する。
我々の分析は焦点エントロピーの有限性、凸性、連続性の条件を確立し、様々な漸近的特徴を与える。
我々は、焦点エントロピー最小化器の存在と特異性を証明し、その構造を説明し、データ分布からかなり離れることができることを示す。
特に、焦点損失は中距離確率を増幅し、高い確率結果を抑制し、極端なクラス不均衡の下では、非常に小さな確率がさらに減少する過剰な抑制体制を誘導することを示す。
これらの結果も実験的に検証され、焦点空間の理解のための理論的基盤を提供し、不均衡学習タスクに適用した場合に導入されるトレードオフを明らかにする。
関連論文リスト
- Sample Complexity of Causal Identification with Temporal Heterogeneity [6.5822033630228916]
環境多様性の欠如に対して,時間構造が効果的に置き換えられることを示す。
この研究は、因果構造が特定可能かどうかから、実際に統計的に回復可能かどうかに焦点を移す。
論文 参考訳（メタデータ） (2026-02-06T17:44:00Z) - On the Stability of Graph Convolutional Neural Networks: A Probabilistic Perspective [21.0483487978294]
グラフトポロジにおける摂動がGCNN出力に与える影響について検討し,モデル安定性解析のための新しい定式化を提案する。
最悪の場合の摂動のみに焦点を当てた従来の研究とは異なり、分布認識の定式化は幅広い入力データにまたがる出力摂動を特徴付ける。
論文 参考訳（メタデータ） (2025-06-01T23:17:19Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - Charge-resolved entanglement in the presence of topological defects [0.0]
Su-Schrieffer-Heeger モデルの低層状態における単一間隔での電荷分解エントロピーを計算する。
未解決のシステムや純粋なシステムと比較して、絡み合いのよりリッチな構造が現れる。
論文 参考訳（メタデータ） (2023-06-27T15:03:46Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2023-01-12T17:43:38Z) - Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of
Modulated Cross-Entropy in Natural Language Inference [0.0]
一部のデータセットでは、深層ニューラルネットワークが学習プロセスのショートカットを可能にする基盤を発見し、結果として一般化能力が低下する。
標準のクロスエントロピーを使う代わりに、焦点損失と呼ばれる変調されたクロスエントロピーが、基礎を使わずに一般化性能を向上させるためにモデルを制約できるかどうかを検討する。
自然言語推論実験により, 焦点損失は学習過程に一定の影響を与え, 分布外データの精度は向上するが, 分布内データの性能はわずかに低下することがわかった。
論文 参考訳（メタデータ） (2022-11-23T22:19:00Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-07T10:14:18Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - Localisation in quasiperiodic chains: a theory based on convergence of
local propagators [68.8204255655161]
局所プロパゲータの収束に基づく準周期鎖に最も近いホッピングを持つ局所化の理論を提示する。
これらの連続分数の収束、局所化、あるいはその欠如を分析することは可能であり、それによって臨界点とモビリティエッジが帰結する。
結果は、振る舞いの範囲をカバーする3つの準周期モデルの理論を分析することで実証される。
論文 参考訳（メタデータ） (2021-02-18T16:19:52Z) - Supercharging Imbalanced Data Learning With Energy-based Contrastive
Representation Transfer [72.5190560787569]
コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。
本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。
これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
論文 参考訳（メタデータ） (2020-11-25T00:13:11Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。