論文の概要: Scalable Set Encoding with Universal Mini-Batch Consistency and Unbiased Full Set Gradient Approximation

• arxiv url: http://arxiv.org/abs/2208.12401v4
• Date: Fri, 2 Jun 2023 13:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 20:56:16.640279
• Title: Scalable Set Encoding with Universal Mini-Batch Consistency and Unbiased Full Set Gradient Approximation
• Title（参考訳）: Universal Mini-Batch ConsistencyとUnbiased Full Gradient Approximationを用いたスケーラブルなセット符号化
• Authors: Jeffrey Willette, Seanie Lee, Bruno Andreis, Kenji Kawaguchi, Juho Lee, Sung Ju Hwang
• Abstract要約: 任意の非MBCコンポーネントと組み合わせて使用できる集合関数のUniversally MBCクラスを提案する。 また、全集合勾配の偏りのない近似を与える効率的なMBCトレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 74.43046004300507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on mini-batch consistency (MBC) for set functions has brought attention to the need for sequentially processing and aggregating chunks of a partitioned set while guaranteeing the same output for all partitions. However, existing constraints on MBC architectures lead to models with limited expressive power. Additionally, prior work has not addressed how to deal with large sets during training when the full set gradient is required. To address these issues, we propose a Universally MBC (UMBC) class of set functions which can be used in conjunction with arbitrary non-MBC components while still satisfying MBC, enabling a wider range of function classes to be used in MBC settings. Furthermore, we propose an efficient MBC training algorithm which gives an unbiased approximation of the full set gradient and has a constant memory overhead for any set size for both train- and test-time. We conduct extensive experiments including image completion, text classification, unsupervised clustering, and cancer detection on high-resolution images to verify the efficiency and efficacy of our scalable set encoding framework.
• Abstract（参考訳）: 集合関数のミニバッチ一貫性(MBC)に関する最近の研究は、すべての分割に対して同じ出力を保証しつつ、分割された集合のチャンクを逐次処理し集約する必要性に注意を向けている。 しかし、既存のMBCアーキテクチャの制約は、表現力に制限のあるモデルにつながる。 さらに、事前の作業は、完全なセット勾配が必要な場合、トレーニング中に大きなセットを扱う方法に対処していない。 これらの問題に対処するために,MBC を満足しながら任意の非MBC コンポーネントと組み合わせて使用可能な集合関数のUniversally MBC (UMBC) クラスを提案し,より広い範囲の関数クラスを MBC 設定で使用できるようにする。 さらに,全設定勾配の偏りのない近似を与える効率の良いMBCトレーニングアルゴリズムを提案し,列車時間とテスト時間の両方において,任意の設定サイズに対してメモリオーバーヘッドが一定であることを示す。 画像補完,テキスト分類,教師なしクラスタリング,高分解能画像による癌検出など広範な実験を行い,スケーラブルな集合符号化フレームワークの効率と有効性を検証する。

関連論文リスト

• Revisiting the Integration of Convolution and Attention for Vision Backbone [59.50256661158862]
  畳み込みとMHSA(Multi-head self-attentions)は一般的に、視覚バックボーンを構築するための代替手段であると考えられている。 そこで本研究では,MSHAとConvsを,異なる粒度レベルで並列的に使用することを提案する。 我々は,提案手法であるtextitGLMix の可能性を実証的に検証した。軽量なConvs に細粒度機能の負荷をオフロードすることで,いくつかのセマンティックスロットで MHSAs を使用するのに十分である。
  論文  参考訳（メタデータ） (2024-11-21T18:59:08Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの視覚タスクにおいて印象的なパフォーマンスを達成した。 チャネルミキサーや機能ミキシングブロック(FFNか)の研究は、はるかに少ない。 密度の高い接続は、より大きな膨張比をサポートする対角線ブロック構造に置き換えることができることを示す。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• MA-BBOB: Many-Affine Combinations of BBOB Functions for Evaluating AutoML Approaches in Noiseless Numerical Black-Box Optimization Contexts [0.8258451067861933]
  (MA-)BBOBは、一般公開のIOHファウンサープラットフォーム上に構築されている。 パフォーマンス分析と視覚化のためのインタラクティブなIOHanalyzerモジュールへのアクセスを提供し、(MA-)BBOB関数で利用可能なリッチで成長中のデータコレクションとの比較を可能にする。
  論文  参考訳（メタデータ） (2023-06-18T19:32:12Z)
• Binarized Spectral Compressive Imaging [59.18636040850608]
  ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。 本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。 BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
  論文  参考訳（メタデータ） (2023-05-17T15:36:08Z)
• Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network [101.53907377000445]
  軽量画像超解像は、低解像度画像から低計算コストで高解像度画像を再構成することを目的としている。 既存の方法では、活性化関数による中間層の特徴が失われる。 本稿では,中間的特徴損失が再構成品質に与える影響を最小限に抑えるために,特徴相互作用重み付きハイブリッドネットワーク(FIWHN)を提案する。
  論文  参考訳（メタデータ） (2022-12-29T05:57:29Z)
• BiMLP: Compact Binary Architectures for Vision Multi-Layer Perceptrons [37.28828605119602]
  本稿では,視覚多層パーセプトロン(MLP)のためのコンパクトバイナリアーキテクチャの設計問題について検討する。 従来のバイナライズ手法では,バイナリサンプリングの容量が限られていたため,性能が低かった。 本稿では,バイナリFC層の表現能力を高めることにより,バイナリミキシングとチャネルミキシング(BiMLP)モデルの性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2022-12-29T02:43:41Z)
• Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding [50.61114177411961]
  大規模のミニバッチセットエンコーディングに必要な、Mini-Batch Consistencyと呼ばれる新しいプロパティを紹介します。 本稿では,設定要素に対してミニバッチ処理が可能で,より多くのデータが到着するにつれて,セット表現を更新できる,スケーラブルで効率的なセット符号化機構を提案する。
  論文  参考訳（メタデータ） (2021-03-02T10:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。