Fugu-MT 論文翻訳(概要): Mixture of Balanced Information Bottlenecks for Long-Tailed Visual Recognition

論文の概要: Mixture of Balanced Information Bottlenecks for Long-Tailed Visual Recognition

arxiv url: http://arxiv.org/abs/2509.01804v1
Date: Mon, 01 Sep 2025 22:14:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-04 15:17:03.851213
Title: Mixture of Balanced Information Bottlenecks for Long-Tailed Visual Recognition
Title（参考訳）: 長期視覚認識のためのバランス情報ブースネックの混合
Authors: Yifan Lan, Xin Cai, Jun Cheng, Shan Tan,
Abstract要約: 情報ボトルネック(IB)は表現学習におけるエレガントなアプローチである。本稿では、損失関数の再分散と自己蒸留技術を統合したバランス情報ボトルネック(BIB)手法を提案する。我々は、CIFAR100-LT、ImageNet-LT、iNaturalist 2018など、よく使われる長い尾のデータセットの実験を行っている。
参考スコア（独自算出の注目度）: 17.86146554162004
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks (DNNs) have achieved significant success in various applications with large-scale and balanced data. However, data in real-world visual recognition are usually long-tailed, bringing challenges to efficient training and deployment of DNNs. Information bottleneck (IB) is an elegant approach for representation learning. In this paper, we propose a balanced information bottleneck (BIB) approach, in which loss function re-balancing and self-distillation techniques are integrated into the original IB network. BIB is thus capable of learning a sufficient representation with essential label-related information fully preserved for long-tailed visual recognition. To further enhance the representation learning capability, we also propose a novel structure of mixture of multiple balanced information bottlenecks (MBIB), where different BIBs are responsible for combining knowledge from different network layers. MBIB facilitates an end-to-end learning strategy that trains representation and classification simultaneously from an information theory perspective. We conduct experiments on commonly used long-tailed datasets, including CIFAR100-LT, ImageNet-LT, and iNaturalist 2018. Both BIB and MBIB reach state-of-the-art performance for long-tailed visual recognition.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、大規模でバランスの取れたデータを持つ様々なアプリケーションで大きな成功を収めている。しかし、現実の視覚認識におけるデータは、通常、長い目で見ることができ、DNNの効率的なトレーニングと展開に困難をもたらす。情報ボトルネック(IB)は表現学習におけるエレガントなアプローチである。本稿では、損失関数の再分散と自己蒸留技術が元のISBネットワークに統合されたバランス情報ボトルネック(BIB)アプローチを提案する。これにより、BIBは、長い尾の視覚認識のために、必須ラベル関連情報を完全保存した十分な表現を学習することができる。さらに表現学習能力を高めるために,複数のバランス情報ボトルネック(MBIB)が混在する新たな構造を提案し,複数のBIBが異なるネットワーク層からの知識を結合する役割を担っている。 MBIBは情報理論の観点から表現と分類を同時に訓練するエンドツーエンドの学習戦略を促進する。我々は、CIFAR100-LT、ImageNet-LT、iNaturalist 2018など、よく使われる長い尾のデータセットの実験を行っている。 BIBとMBIBはどちらも、長い尾の視覚認識のための最先端の性能を達成している。

関連論文リスト

UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
論文参考訳（メタデータ） (2025-08-27T00:56:11Z)
Rethinking Latent Redundancy in Behavior Cloning: An Information Bottleneck Approach for Robot Manipulation [34.46089300038851]
行動クローニング(BC)は、ロボット操作において広く採用されている視覚模倣学習手法である。我々は,潜在表現における冗長性を定量化し緩和するために相互情報を導入する。本研究は, 様々な方法, バックボーン, 実験環境における潜在表現の冗長性に関する最初の包括的研究である。
論文参考訳（メタデータ） (2025-02-05T03:13:04Z)
Structured IB: Improving Information Bottleneck with Structured Feature Learning [32.774660308233635]
我々は、潜在的に構造化された機能を調べるためのフレームワークであるStructured IBを紹介した。 IBラグランジアン法と比較し,予測精度とタスク関連情報を比較検討した。
論文参考訳（メタデータ） (2024-12-11T09:17:45Z)
Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文参考訳（メタデータ） (2024-04-28T08:44:28Z)
MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck [53.44358636312935]
自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなす。近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。目的とする多視点エントロピー・ボトルネック(MVEB)を提案し,最小限の表現を効果的に学習する。
論文参考訳（メタデータ） (2024-03-28T00:50:02Z)
Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文参考訳（メタデータ） (2023-06-14T13:07:48Z)
Epistemic Graph: A Plug-And-Play Module For Hybrid Representation Learning [46.48026220464475]
人間はハイブリッド学習を示し、クロスドメイン認識のための構造化された知識をシームレスに統合したり、少量の学習のために少量のデータサンプルに依存する。本稿では, 深部特徴と構造化知識グラフ間の情報交換を促進し, ハイブリッド学習を実現するための新しいエピステミックグラフ層(EGLayer)を提案する。
論文参考訳（メタデータ） (2023-05-30T04:10:15Z)
Pitfalls of Conditional Batch Normalization for Contextual Multi-Modal Learning [8.571329113719973]
条件付きバッチ正規化(CBN)は、深層学習タスクを支援するためにコンテキスト特徴を学習する一般的な方法である。 CBNによる補助データの導入によって得られた視覚的特徴が劣化することを明らかにする。 CBNは補助データとラベル間のショートカット学習を促進する。
論文参考訳（メタデータ） (2022-11-28T05:15:16Z)
Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文参考訳（メタデータ） (2022-06-20T03:09:46Z)
Contrastive Learning with Boosted Memorization [36.957895270908324]
自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
論文参考訳（メタデータ） (2022-05-25T11:54:22Z)
Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文参考訳（メタデータ） (2020-11-14T11:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。