論文の概要: Universal Mini-Batch Consistency for Set Encoding Functions

• arxiv url: http://arxiv.org/abs/2208.12401v1
• Date: Fri, 26 Aug 2022 02:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 12:37:55.417382
• Title: Universal Mini-Batch Consistency for Set Encoding Functions
• Title（参考訳）: 集合符号化関数に対するUniversal Mini-Batch Consistency
• Authors: Jeffrey Willette, Andreis Bruno, Juho Lee, Sung Ju Hwang
• Abstract要約: ミニバッチ一貫性(英: Mini-Batch Consistency、MBC)とは、任意のランダムな集合分割スキームの置換を逐次処理する能力である。 集合関数の普遍MBC(UMBC)クラスのためのフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 65.08486925163548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous works have established solid foundations for neural set functions, as well as effective architectures which preserve the necessary properties for operating on sets, such as being invariant to permutations of the set elements. Subsequently, Mini-Batch Consistency (MBC), the ability to sequentially process any permutation of any random set partition scheme while maintaining consistency guarantees on the output, has been established but with limited options for network architectures. We further study the MBC property in neural set encoding functions, establishing a method for converting arbitrary non-MBC models to satisfy MBC. In doing so, we provide a framework for a universally-MBC (UMBC) class of set functions. Additionally, we explore an interesting dropout strategy made possible by our framework, and investigate its effects on probabilistic calibration under test-time distributional shifts. We validate UMBC with proofs backed by unit tests, also providing qualitative/quantitative experiments on toy data, clean and corrupted point cloud classification, and amortized clustering on ImageNet. The results demonstrate the utility of UMBC, and we further discover that our dropout strategy improves uncertainty calibration.
• Abstract（参考訳）: 従来の研究は、集合上の操作に必要な性質を保ち、集合要素の置換に不変であるような効果的なアーキテクチャと同様に、神経集合関数の基盤を確立してきた。 その後、最小バッチ整合性(MBC)は、任意のランダムなセット分割スキームの順列処理と、出力の整合性の保証を維持しながら、ネットワークアーキテクチャの限られたオプションで確立された。 さらに、神経集合符号化関数におけるMBC特性について検討し、任意の非MBCモデルをMBCを満たすように変換する方法を確立する。 そこで我々は,集合関数の普遍MBC(Universally-MBC)クラスのためのフレームワークを提供する。 さらに,本フレームワークで実現した興味深いドロップアウト戦略について検討し,テスト時間分布シフトによる確率的キャリブレーションへの影響について検討する。 単体テストによる検証,玩具データに関する定性的・定量的実験,クリーンで破損した点群分類,ImageNetによるクラスタリングなどの検証を行った。 その結果,UMBCの有用性が示され,脱落戦略が不確実性校正を改善することが判明した。

関連論文リスト

• Revisiting the Integration of Convolution and Attention for Vision Backbone [59.50256661158862]
  畳み込みとMHSA(Multi-head self-attentions)は一般的に、視覚バックボーンを構築するための代替手段であると考えられている。 そこで本研究では,MSHAとConvsを,異なる粒度レベルで並列的に使用することを提案する。 我々は,提案手法であるtextitGLMix の可能性を実証的に検証した。軽量なConvs に細粒度機能の負荷をオフロードすることで,いくつかのセマンティックスロットで MHSAs を使用するのに十分である。
  論文  参考訳（メタデータ） (2024-11-21T18:59:08Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの視覚タスクにおいて印象的なパフォーマンスを達成した。 チャネルミキサーや機能ミキシングブロック(FFNか)の研究は、はるかに少ない。 密度の高い接続は、より大きな膨張比をサポートする対角線ブロック構造に置き換えることができることを示す。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• MA-BBOB: Many-Affine Combinations of BBOB Functions for Evaluating AutoML Approaches in Noiseless Numerical Black-Box Optimization Contexts [0.8258451067861933]
  (MA-)BBOBは、一般公開のIOHファウンサープラットフォーム上に構築されている。 パフォーマンス分析と視覚化のためのインタラクティブなIOHanalyzerモジュールへのアクセスを提供し、(MA-)BBOB関数で利用可能なリッチで成長中のデータコレクションとの比較を可能にする。
  論文  参考訳（メタデータ） (2023-06-18T19:32:12Z)
• Binarized Spectral Compressive Imaging [59.18636040850608]
  ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。 本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。 BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
  論文  参考訳（メタデータ） (2023-05-17T15:36:08Z)
• Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network [101.53907377000445]
  軽量画像超解像は、低解像度画像から低計算コストで高解像度画像を再構成することを目的としている。 既存の方法では、活性化関数による中間層の特徴が失われる。 本稿では,中間的特徴損失が再構成品質に与える影響を最小限に抑えるために,特徴相互作用重み付きハイブリッドネットワーク(FIWHN)を提案する。
  論文  参考訳（メタデータ） (2022-12-29T05:57:29Z)
• BiMLP: Compact Binary Architectures for Vision Multi-Layer Perceptrons [37.28828605119602]
  本稿では,視覚多層パーセプトロン(MLP)のためのコンパクトバイナリアーキテクチャの設計問題について検討する。 従来のバイナライズ手法では,バイナリサンプリングの容量が限られていたため,性能が低かった。 本稿では,バイナリFC層の表現能力を高めることにより,バイナリミキシングとチャネルミキシング(BiMLP)モデルの性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2022-12-29T02:43:41Z)
• Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding [50.61114177411961]
  大規模のミニバッチセットエンコーディングに必要な、Mini-Batch Consistencyと呼ばれる新しいプロパティを紹介します。 本稿では,設定要素に対してミニバッチ処理が可能で,より多くのデータが到着するにつれて,セット表現を更新できる,スケーラブルで効率的なセット符号化機構を提案する。
  論文  参考訳（メタデータ） (2021-03-02T10:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。