論文の概要: Universal Mini-Batch Consistency for Set Encoding Functions
- arxiv url: http://arxiv.org/abs/2208.12401v1
- Date: Fri, 26 Aug 2022 02:13:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-29 12:37:55.417382
- Title: Universal Mini-Batch Consistency for Set Encoding Functions
- Title(参考訳): 集合符号化関数に対するUniversal Mini-Batch Consistency
- Authors: Jeffrey Willette, Andreis Bruno, Juho Lee, Sung Ju Hwang
- Abstract要約: ミニバッチ一貫性(英: Mini-Batch Consistency、MBC)とは、任意のランダムな集合分割スキームの置換を逐次処理する能力である。
集合関数の普遍MBC(UMBC)クラスのためのフレームワークを提供する。
- 参考スコア(独自算出の注目度): 65.08486925163548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous works have established solid foundations for neural set functions,
as well as effective architectures which preserve the necessary properties for
operating on sets, such as being invariant to permutations of the set elements.
Subsequently, Mini-Batch Consistency (MBC), the ability to sequentially process
any permutation of any random set partition scheme while maintaining
consistency guarantees on the output, has been established but with limited
options for network architectures. We further study the MBC property in neural
set encoding functions, establishing a method for converting arbitrary non-MBC
models to satisfy MBC. In doing so, we provide a framework for a
universally-MBC (UMBC) class of set functions. Additionally, we explore an
interesting dropout strategy made possible by our framework, and investigate
its effects on probabilistic calibration under test-time distributional shifts.
We validate UMBC with proofs backed by unit tests, also providing
qualitative/quantitative experiments on toy data, clean and corrupted point
cloud classification, and amortized clustering on ImageNet. The results
demonstrate the utility of UMBC, and we further discover that our dropout
strategy improves uncertainty calibration.
- Abstract(参考訳): 従来の研究は、集合上の操作に必要な性質を保ち、集合要素の置換に不変であるような効果的なアーキテクチャと同様に、神経集合関数の基盤を確立してきた。
その後、最小バッチ整合性(MBC)は、任意のランダムなセット分割スキームの順列処理と、出力の整合性の保証を維持しながら、ネットワークアーキテクチャの限られたオプションで確立された。
さらに、神経集合符号化関数におけるMBC特性について検討し、任意の非MBCモデルをMBCを満たすように変換する方法を確立する。
そこで我々は,集合関数の普遍MBC(Universally-MBC)クラスのためのフレームワークを提供する。
さらに,本フレームワークで実現した興味深いドロップアウト戦略について検討し,テスト時間分布シフトによる確率的キャリブレーションへの影響について検討する。
単体テストによる検証,玩具データに関する定性的・定量的実験,クリーンで破損した点群分類,ImageNetによるクラスタリングなどの検証を行った。
その結果,UMBCの有用性が示され,脱落戦略が不確実性校正を改善することが判明した。
関連論文リスト
- SCHEME: Scalable Channer Mixer for Vision Transformers [59.12372477493569]
視覚変換器は多くの視覚タスクにおける印象的な性能のために大きな注目を集めている。
特徴混合が高密度接続に取って代わり,これをブロック対角構造で確認できるかどうかを検討した。
画像分類、オブジェクト検出、セマンティックセグメンテーション(セグメンテーション)の実験は、ViTのバックボーンが異なるが、確実に精度が向上することを示した。
論文 参考訳(メタデータ) (2023-12-01T08:22:34Z) - Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。
次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-12T04:23:26Z) - MA-BBOB: Many-Affine Combinations of BBOB Functions for Evaluating
AutoML Approaches in Noiseless Numerical Black-Box Optimization Contexts [0.8258451067861933]
(MA-)BBOBは、一般公開のIOHファウンサープラットフォーム上に構築されている。
パフォーマンス分析と視覚化のためのインタラクティブなIOHanalyzerモジュールへのアクセスを提供し、(MA-)BBOB関数で利用可能なリッチで成長中のデータコレクションとの比較を可能にする。
論文 参考訳(メタデータ) (2023-06-18T19:32:12Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳(メタデータ) (2023-05-17T15:36:08Z) - BiMLP: Compact Binary Architectures for Vision Multi-Layer Perceptrons [37.28828605119602]
本稿では,視覚多層パーセプトロン(MLP)のためのコンパクトバイナリアーキテクチャの設計問題について検討する。
従来のバイナライズ手法では,バイナリサンプリングの容量が限られていたため,性能が低かった。
本稿では,バイナリFC層の表現能力を高めることにより,バイナリミキシングとチャネルミキシング(BiMLP)モデルの性能を向上させることを提案する。
論文 参考訳(メタデータ) (2022-12-29T02:43:41Z) - DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with
Flow-Guided Attentive Correlation and Recursive Boosting [50.17500790309477]
DeMFI-Netは、共同でデブロアリングとマルチフレームのフレームワークである。
低フレームレートのぼやけたビデオを高フレームレートでシャープなビデオに変換する。
多様なデータセットに対して、最先端(SOTA)のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-11-19T00:00:15Z) - Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding [50.61114177411961]
大規模のミニバッチセットエンコーディングに必要な、Mini-Batch Consistencyと呼ばれる新しいプロパティを紹介します。
本稿では,設定要素に対してミニバッチ処理が可能で,より多くのデータが到着するにつれて,セット表現を更新できる,スケーラブルで効率的なセット符号化機構を提案する。
論文 参考訳(メタデータ) (2021-03-02T10:10:41Z) - Batch Coherence-Driven Network for Part-aware Person Re-Identification [79.33809815035127]
既存のパートアウェアの人物再識別方法は、通常、ボディ部分の検出と部分レベルの特徴抽出という2つのステップを使用する。
トレーニングフェーズとテストフェーズの両方で身体の一部をバイパスし,セマンティックに整合した機能を実現するNetworkBCDNetを提案する。
論文 参考訳(メタデータ) (2020-09-21T09:04:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。