論文の概要: Competing Mutual Information Constraints with Stochastic
Competition-based Activations for Learning Diversified Representations
- arxiv url: http://arxiv.org/abs/2201.03624v1
- Date: Mon, 10 Jan 2022 20:12:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 21:39:37.233008
- Title: Competing Mutual Information Constraints with Stochastic
Competition-based Activations for Learning Diversified Representations
- Title（参考訳）: 確率的競争に基づく多様な表現学習のための相互情報制約の競合
- Authors: Konstantinos P. Panousis, Anastasios Antoniadis, Sotirios Chatzis
- Abstract要約: 本研究は,多角化表現の学習における長年の課題に対処することを目的としている。
情報理論の議論と競争に基づくアクティベーションを組み合わせる。
実験的に示すように、結果として得られるネットワークは、重要な離散表現学習能力をもたらす。
- 参考スコア（独自算出の注目度）: 5.981521556433909
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work aims to address the long-established problem of learning
diversified representations. To this end, we combine information-theoretic
arguments with stochastic competition-based activations, namely Stochastic
Local Winner-Takes-All (LWTA) units. In this context, we ditch the conventional
deep architectures commonly used in Representation Learning, that rely on
non-linear activations; instead, we replace them with sets of locally and
stochastically competing linear units. In this setting, each network layer
yields sparse outputs, determined by the outcome of the competition between
units that are organized into blocks of competitors. We adopt stochastic
arguments for the competition mechanism, which perform posterior sampling to
determine the winner of each block. We further endow the considered networks
with the ability to infer the sub-part of the network that is essential for
modeling the data at hand; we impose appropriate stick-breaking priors to this
end. To further enrich the information of the emerging representations, we
resort to information-theoretic principles, namely the Information Competing
Process (ICP). Then, all the components are tied together under the stochastic
Variational Bayes framework for inference. We perform a thorough experimental
investigation for our approach using benchmark datasets on image
classification. As we experimentally show, the resulting networks yield
significant discriminative representation learning abilities. In addition, the
introduced paradigm allows for a principled investigation mechanism of the
emerging intermediate network representations.
- Abstract（参考訳）: 本研究は,多角化表現の学習における長年の課題に対処することを目的とする。
この目的のために、情報理論の議論と確率的競争に基づくアクティベーション、すなわちStochastic Local Winner-Takes-All (LWTA)ユニットを組み合わせる。
この文脈では、非線型アクティベーションに依存する表現学習でよく使われる従来のディープアーキテクチャを廃止し、代わりに局所的および確率論的に競合する線形単位の集合に置き換える。
この設定では、各ネットワーク層は、競合のブロックに編成されたユニット間の競合の結果によって決定されるスパース出力を出力する。
各ブロックの勝者を決定するために後続サンプリングを行う競合機構に対して確率的引数を採用する。
我々はさらに,検討対象のネットワークに対して,データモデリングに不可欠なネットワークの下位部分の推測能力を与える。
新たな表現の情報をさらに豊かにするために、情報理論的な原則、すなわち情報競合プロセス(icp)に頼る。
そして、全ての成分は推論のための確率的変分ベイズフレームワークの下で結合される。
画像分類のベンチマークデータセットを用いて,提案手法の徹底的な実験を行った。
実験的に示すように、結果として得られるネットワークは、重要な識別的表現学習能力をもたらす。
さらに、このパラダイムにより、新興中間ネットワーク表現の原理的な調査機構が実現される。
関連論文リスト
- LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Structural Adversarial Objectives for Self-Supervised Representation
Learning [19.471586646254373]
本稿では,自己指導型表現学習の差別化を,構造モデリングの責務を付加することで行うことを提案する。
ネットワーク上の効率的なスムーズ性正規化器と組み合わせて、これらの目的は識別器を案内し、情報表現の抽出を学ぶ。
実験により,GANを自己指導対象に組み込むことで,表現学習の観点から評価された差別化要因が,対照的な学習アプローチによって訓練されたネットワークと競合することを示す。
論文 参考訳（メタデータ） (2023-09-30T12:27:53Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Stochastic Deep Networks with Linear Competing Units for Model-Agnostic
Meta-Learning [4.97235247328373]
本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。
このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。
提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
論文 参考訳（メタデータ） (2022-08-02T16:19:54Z) - Learning from Heterogeneous Data Based on Social Interactions over
Graphs [58.34060409467834]
本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。
私たちはそれを示します。
戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
私たちはそれを示します。
戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
論文 参考訳（メタデータ） (2021-12-17T12:47:18Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - SegMix: Co-occurrence Driven Mixup for Semantic Segmentation and
Adversarial Robustness [29.133980156068482]
本稿では,競合する仮説から生じる干渉を効果的に解決するために,畳み込みニューラルネットワークを訓練する戦略を提案する。
この前提は機能バインディングの概念に基づいており、ネットワーク内の層と空間にまたがるアクティベーションがうまく統合され、正しい推論決定に達するプロセスとして定義される。
論文 参考訳（メタデータ） (2021-08-23T04:35:48Z) - Local Competition and Stochasticity for Adversarial Robustness in Deep
Learning [8.023314613846418]
本研究は, 深層学習における対角的堅牢性に対処し, 深層ネットワークと局部的勝者のアクティベーションを考慮した。
このタイプのネットワークユニットは、各モデル層からスパース表現を生じさせ、ユニットは1つのユニットだけがゼロでない出力を生成するブロックに編成される。
論文 参考訳（メタデータ） (2021-01-04T17:40:52Z) - Feature Binding with Category-Dependant MixUp for Semantic Segmentation
and Adversarial Robustness [30.250946586873884]
本稿では,競合する仮説から生じる干渉を効果的に解決するために,畳み込みニューラルネットワークを訓練する戦略を提案する。
この前提は機能バインディングの概念に基づいており、これは、ネットワーク内の層と空間にまたがるアクティベーションがうまく統合され、正しい推論決定に達するプロセスとして定義される。
論文 参考訳（メタデータ） (2020-08-13T03:20:01Z) - A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。
提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
論文 参考訳（メタデータ） (2020-06-08T02:39:59Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。