論文の概要: Orthogonal Activation with Implicit Group-Aware Bias Learning for Class Imbalance

• arxiv url: http://arxiv.org/abs/2512.20006v1
• Date: Tue, 23 Dec 2025 03:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.725646
• Title: Orthogonal Activation with Implicit Group-Aware Bias Learning for Class Imbalance
• Title（参考訳）: クラス不均衡のための命令型グループ認識バイアス学習による直交活性化
• Authors: Sukumar Kishanthan, Asela Hevapathige,
• Abstract要約: クラス不均衡は、機械学習とデータマイニングにおいて一般的な課題である。 我々は、ディープラーニング分類器におけるクラス不均衡を軽減するために、OGABという新しいアクティベーション関数を提案する。 実世界および合成不均衡データセットにおける解の有効性を実証する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class imbalance is a common challenge in machine learning and data mining, often leading to suboptimal performance in classifiers. While deep learning excels in feature extraction, its performance still deteriorates under imbalanced data. In this work, we propose a novel activation function, named OGAB, designed to alleviate class imbalance in deep learning classifiers. OGAB incorporates orthogonality and group-aware bias learning to enhance feature distinguishability in imbalanced scenarios without explicitly requiring label information. Our key insight is that activation functions can be used to introduce strong inductive biases that can address complex data challenges beyond traditional non-linearity. Our work demonstrates that orthogonal transformations can preserve information about minority classes by maintaining feature independence, thereby preventing the dominance of majority classes in the embedding space. Further, the proposed group-aware bias mechanism automatically identifies data clusters and adjusts embeddings to enhance class separability without the need for explicit supervision. Unlike existing approaches that address class imbalance through preprocessing data modifications or post-processing corrections, our proposed approach tackles class imbalance during the training phase at the embedding learning level, enabling direct integration with the learning process. We demonstrate the effectiveness of our solution on both real-world and synthetic imbalanced datasets, showing consistent performance improvements over both traditional and learnable activation functions.
• Abstract（参考訳）: クラス不均衡は、機械学習とデータマイニングにおいて一般的な課題であり、しばしば分類器の最適下パフォーマンスにつながる。 深層学習は特徴抽出に優れるが、その性能は不均衡なデータの下でも悪化する。 本研究では,ディープラーニング分類器におけるクラス不均衡を軽減するために,OGABという新しいアクティベーション関数を提案する。 OGABは、ラベル情報を明示的に必要とせず、不均衡なシナリオにおける特徴の識別性を高めるために、直交性とグループ認識バイアス学習を取り入れている。 私たちの重要な洞察は、アクティベーション関数が、従来の非線形性を超えた複雑なデータ課題に対処できる強力な帰納バイアスをもたらすのに使えるということです。 我々の研究は、直交変換が特徴独立性を維持することによって少数クラスに関する情報を保存できることを示し、組込み空間における多数クラスの優位性を防ぐ。 さらに,グループ認識バイアス機構は,データクラスタを自動的に識別し,組込みを調整し,明示的な監督を必要とせずにクラス分離性を向上させる。 事前処理データ修正や後処理修正によるクラス不均衡に対処する既存のアプローチとは異なり,本提案手法は組込み学習レベルでの学習段階におけるクラス不均衡に対処し,学習プロセスとの直接統合を可能にする。 実世界および合成不均衡データセットにおける本ソリューションの有効性を実証し,従来のアクティベーション関数と学習可能なアクティベーション関数の両方に対して一貫した性能向上を示す。

関連論文リスト

• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Contrastive Consolidation of Top-Down Modulations Achieves Sparsely Supervised Continual Learning [5.3151394920162645]
  新皮質の生体物理機械からインスピレーションを得たタスク変調コントラスト学習(TMCL)を導入する。 TMCLは、トップダウン情報を継続的に監視なしで統合する。 本実験は,最先端の教師なしアプローチによるクラスインクリメンタル学習とトランスファー学習の改善を示す。
  論文  参考訳（メタデータ） (2025-05-20T09:31:57Z)
• Adaptive Weighted Parameter Fusion with CLIP for Class-Incremental Learning [12.67816343247008]
  クラス増分学習により、モデルは新しいクラスからの知識を漸進的に吸収することができる。 モデルが新しいクラスで最適化されると、前のクラスの知識は必然的に消去され、破滅的な忘れ去られる。
  論文  参考訳（メタデータ） (2025-03-25T09:51:04Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
  ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。 クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。 非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
  論文  参考訳（メタデータ） (2023-03-11T05:17:59Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。