論文の概要: Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding

• arxiv url: http://arxiv.org/abs/2103.01615v1
• Date: Tue, 2 Mar 2021 10:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 11:57:40.256708
• Title: Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding
• Title（参考訳）: スケーラブルなセット符号化のためのミニバッチ一貫性スロットセットエンコーダ
• Authors: Bruno Andreis, Jeffrey Willette, Juho Lee, Sung Ju Hwang
• Abstract要約: 大規模のミニバッチセットエンコーディングに必要な、Mini-Batch Consistencyと呼ばれる新しいプロパティを紹介します。 本稿では,設定要素に対してミニバッチ処理が可能で,より多くのデータが到着するにつれて,セット表現を更新できる,スケーラブルで効率的なセット符号化機構を提案する。
• 参考スコア（独自算出の注目度）: 50.61114177411961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing set encoding algorithms operate under the assumption that all the elements of the set are accessible during training and inference. Additionally, it is assumed that there are enough computational resources available for concurrently processing sets of large cardinality. However, both assumptions fail when the cardinality of the set is prohibitively large such that we cannot even load the set into memory. In more extreme cases, the set size could be potentially unlimited, and the elements of the set could be given in a streaming manner, where the model receives subsets of the full set data at irregular intervals. To tackle such practical challenges in large-scale set encoding, we go beyond the usual constraints of invariance and equivariance and introduce a new property termed Mini-Batch Consistency that is required for large scale mini-batch set encoding. We present a scalable and efficient set encoding mechanism that is amenable to mini-batch processing with respect to set elements and capable of updating set representations as more data arrives. The proposed method respects the required symmetries of invariance and equivariance as well as being Mini-Batch Consistent for random partitions of the input set. We perform extensive experiments and show that our method is computationally efficient and results in rich set encoding representations for set-structured data.
• Abstract（参考訳）: ほとんどの既存のセットエンコーディングアルゴリズムは、セットのすべての要素がトレーニングや推論中にアクセス可能であるという前提の下で動作します。 さらに,大濃度集合を同時処理するのに十分な計算資源が存在すると仮定した。 しかし、両方の仮定は集合の濃度が禁止的に大きいときに失敗し、集合をメモリにロードすることもできない。 より極端なケースでは、セットのサイズは潜在的に無制限であり、セットの要素は、モデルが不規則な間隔でフルセットデータのサブセットを受け取るストリーミング方法で与えることができます。 大規模集合符号化におけるそのような実用的な課題に取り組むために,不変性と等分散の通常の制約を超越し,大規模集合符号化に必要な新しい特性であるミニバッチ一貫性を導入する。 本稿では,設定要素に対してミニバッチ処理が可能で,より多くのデータが到着するにつれて,セット表現を更新できる,スケーラブルで効率的なセット符号化機構を提案する。 提案手法は, 入力集合の無作為分割に対して最小バッチ一貫性を持つだけでなく, 不変および等分散に必要な対称性を尊重する。 提案手法は計算効率が高く,集合構造データに対するリッチな集合符号化表現が得られることを示す。

関連論文リスト

• Outfit Completion via Conditional Set Transformation [10.075094678260625]
  本稿では,この課題を集合検索タスクとして定式化し,その解決のための新しい枠組みを提案する。 この提案は、ディープニューラルネットワークを用いた条件セット変換アーキテクチャと、互換性に基づく正規化手法を含む。 実データを用いた実験結果から,提案手法は,服飾完了作業の精度,条件満足度,完了結果の整合性において,既存手法よりも優れていたことが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-28T09:30:52Z)
• Efficient Controllable Multi-Task Architectures [85.76598445904374]
  本稿では,共有エンコーダとタスク固有デコーダからなるマルチタスクモデルを提案する。 我々のキーとなる考え方は、タスク固有のデコーダの容量を変化させ、計算コストの総和を制御し、タスクの重要度を制御することである。 これにより、与えられた予算に対してより強力なエンコーダを許可し、計算コストの制御を高め、高品質のスリム化サブアーキテクチャを提供することにより、全体的な精度を向上させる。
  論文  参考訳（メタデータ） (2023-08-22T19:09:56Z)
• Achieving Long-term Fairness in Submodular Maximization through Randomization [16.33001220320682]
  人種や性別などのセンシティブな属性を含む可能性のあるデータアイテムを扱う場合、公平性を意識したアルゴリズムを実装することが重要です。 群フェアネス制約を満たしながら単調部分モジュラ函数を最大化する問題について検討する。
  論文  参考訳（メタデータ） (2023-04-10T16:39:19Z)
• Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference [0.0]
  そこで本研究では,PrimAl Dual Minimum Description LEngth (PADDLE) の定式化について述べる。 制約のあるMDLライクな目的は、いくつかのタスクのデータに適合する有効なクラスのみを保ちながら、起こりうる多数のクラス間の競争を促進する。
  論文  参考訳（メタデータ） (2022-10-26T08:06:57Z)
• Set2Box: Similarity Preserving Representation Learning of Sets [18.85308805841525]
  本研究では,集合の圧縮表現のための学習ベースアプローチであるSet2Boxを提案する。 また、より簡潔だがより正確な集合のボックス表現をもたらすSet2Box+を設計します。 実世界の8つのデータセットの実験を通して、Set2Box+は (a) 精度: 最大40.8倍の小さい推定誤差を達成し、また、 (b) 簡潔さ: 96.8倍の精度の表現と類似した推定誤差、 (c) ヴァーサタイル: 各集合の1つの表現から4つの設定相似測度を推定できるようにする。
  論文  参考訳（メタデータ） (2022-10-07T02:11:12Z)
• Scalable Set Encoding with Universal Mini-Batch Consistency and Unbiased Full Set Gradient Approximation [74.43046004300507]
  任意の非MBCコンポーネントと組み合わせて使用できる集合関数のUniversally MBCクラスを提案する。 また、全集合勾配の偏りのない近似を与える効率的なMBCトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-26T02:13:38Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• An Efficient Diagnosis Algorithm for Inconsistent Constraint Sets [68.8204255655161]
  過制約問題における最小限の障害制約を識別する分割・分散型診断アルゴリズム(FastDiag)を提案する。 ヒットセットの競合指向計算とfastdiagを比較し,詳細な性能解析を行う。
  論文  参考訳（メタデータ） (2021-02-17T19:55:42Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。