論文の概要: Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning

• arxiv url: http://arxiv.org/abs/2208.01573v1
• Date: Tue, 2 Aug 2022 16:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-03 13:32:42.340916
• Title: Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning
• Title（参考訳）: モデル非依存型メタラーニングのための線形競合ユニットを用いた確率的ディープネットワーク
• Authors: Konstantinos Kalais, Sotirios Chatzis
• Abstract要約: 本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。 このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。 提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
• 参考スコア（独自算出の注目度）: 4.97235247328373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work addresses meta-learning (ML) by considering deep networks with stochastic local winner-takes-all (LWTA) activations. This type of network units results in sparse representations from each model layer, as the units are organized into blocks where only one unit generates a non-zero output. The main operating principle of the introduced units rely on stochastic principles, as the network performs posterior sampling over competing units to select the winner. Therefore, the proposed networks are explicitly designed to extract input data representations of sparse stochastic nature, as opposed to the currently standard deterministic representation paradigm. Our approach produces state-of-the-art predictive accuracy on few-shot image classification and regression experiments, as well as reduced predictive error on an active learning setting; these improvements come with an immensely reduced computational cost.
• Abstract（参考訳）: 本研究は,LWTAアクティベーションを用いた深層ネットワークによるメタラーニング(ML)に対処する。 このタイプのネットワークユニットは、各モデル層からスパース表現を生じさせ、ユニットは1つのユニットだけが0でない出力を生成するブロックに編成される。 導入されたユニットの主な運用原理は、ネットワークが勝者を選ぶために競合ユニットに対して後方サンプリングを行うという確率的原則に依存している。 したがって,提案するネットワークは,現在標準的な決定論的表現パラダイムとは対照的に,スパース確率性の入力データ表現を明示的に抽出するように設計されている。 提案手法は, 画像分類および回帰実験における最先端の予測精度と, アクティブな学習環境における予測誤差を低減し, 計算コストを大幅に削減する。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
  クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。 主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。 ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-06-29T14:04:24Z)
• Fitting Low-rank Models on Egocentrically Sampled Partial Networks [4.111899441919165]
  本稿では,egocentricly sampled network に対する一般的な低ランクモデルに適合する手法を提案する。 この手法は、エゴセントリックな部分的ネットワーク推定に関する最初の理論的保証を提供する。 本手法を複数の合成および実世界のネットワーク上で評価し,リンク予測タスクにおいて競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-09T03:20:44Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Competing Mutual Information Constraints with Stochastic Competition-based Activations for Learning Diversified Representations [5.981521556433909]
  本研究は,多角化表現の学習における長年の課題に対処することを目的としている。 情報理論の議論と競争に基づくアクティベーションを組み合わせる。 実験的に示すように、結果として得られるネットワークは、重要な離散表現学習能力をもたらす。
  論文  参考訳（メタデータ） (2022-01-10T20:12:13Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Local Competition and Stochasticity for Adversarial Robustness in Deep Learning [8.023314613846418]
  本研究は, 深層学習における対角的堅牢性に対処し, 深層ネットワークと局部的勝者のアクティベーションを考慮した。 このタイプのネットワークユニットは、各モデル層からスパース表現を生じさせ、ユニットは1つのユニットだけがゼロでない出力を生成するブロックに編成される。
  論文  参考訳（メタデータ） (2021-01-04T17:40:52Z)
• Regression Prior Networks [14.198991969107524]
  Prior Networksは、不確実性の解釈可能な尺度を生成する、新しく開発されたモデルのクラスである。 また、Ensemble Distribution Distillation (EnD$2$)を介してモデルのアンサンブルを蒸留することもできる。 この作業は、Normal-Wishart分布を考慮し、Presideor NetworksとEnD$2$を回帰タスクに拡張する。
  論文  参考訳（メタデータ） (2020-06-20T14:50:14Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。