論文の概要: Multiset-Equivariant Set Prediction with Approximate Implicit Differentiation

• arxiv url: http://arxiv.org/abs/2111.12193v1
• Date: Tue, 23 Nov 2021 23:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 22:41:19.402830
• Title: Multiset-Equivariant Set Prediction with Approximate Implicit Differentiation
• Title（参考訳）: 近似入射差分法による多重集合同変集合予測
• Authors: Yan Zhang, David W. Zhang, Simon Lacoste-Julien, Gertjan J. Burghouts, Cees G. M. Snoek
• Abstract要約: 集合同変関数は多重集合上の特定の関数を表現できないことを示す。 既存のDeep Set Prediction Network (DSPN) がマルチセット同変であることが確認できた。 DSPNの変更は、ほとんどの場合、より良い結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 45.82460663007995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most set prediction models in deep learning use set-equivariant operations, but they actually operate on multisets. We show that set-equivariant functions cannot represent certain functions on multisets, so we introduce the more appropriate notion of multiset-equivariance. We identify that the existing Deep Set Prediction Network (DSPN) can be multiset-equivariant without being hindered by set-equivariance and improve it with approximate implicit differentiation, allowing for better optimization while being faster and saving memory. In a range of toy experiments, we show that the perspective of multiset-equivariance is beneficial and that our changes to DSPN achieve better results in most cases. On CLEVR object property prediction, we substantially improve over the state-of-the-art Slot Attention from 8% to 77% in one of the strictest evaluation metrics because of the benefits made possible by implicit differentiation.
• Abstract（参考訳）: ディープラーニングのほとんどのセット予測モデルは、セット同値演算を使用するが、実際にはマルチセットで動作する。 集合同変関数は多重集合上の特定の関数を表現できないことを示すので、より適切な多重集合同変の概念を導入する。 既存のDeep Set Prediction Network (DSPN) は, 集合同変の影響を受けずにマルチセット同変であり, 暗黙差が近似的に改善され, 高速かつ省メモリの最適化が可能となる。 様々な玩具実験において, マルチセット等価性の観点が有用であること, DSPNの変化がほとんどの場合, より良い結果をもたらすことを示す。 CLEVRオブジェクトの特性予測では、暗黙の微分によって得られる利点により、最も厳密な評価指標の1つにおいて、最先端のスロット注意を8%から77%に大幅に改善する。

関連論文リスト

• Multi-Weight Ranking for Multi-Criteria Decision Making [0.0]
  統計値からコーン分布関数を多基準決定ツールに変換する。 ランキング関数はその後拡張され、設定された好みに対する一元的な指標が提供される。 機械学習の潜在的な応用について概説する。
  論文  参考訳（メタデータ） (2023-12-04T11:13:42Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
  本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。 摂動を事前分布関数によるランダム変数として扱う。 収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
  論文  参考訳（メタデータ） (2023-01-21T00:21:11Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
  興味のある変数に不変な学習表現に対して,損失のクラスを導入する。 外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
  論文  参考訳（メタデータ） (2021-02-16T18:29:28Z)
• K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations [67.46036826589467]
  個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。 異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。 提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-07-27T04:56:41Z)
• Multi-Objective Counterfactual Explanations [0.7349727826230864]
  本稿では, 対物探索を多目的最適化問題に変換する多目的対物法 (MOC) を提案する。 我々のアプローチは、提案する目的間のトレードオフの異なる多様な対策セットを返却するだけでなく、特徴空間における多様性も維持する。
  論文  参考訳（メタデータ） (2020-04-23T13:56:39Z)
• Deep Multi-Modal Sets [29.983311598563542]
  ディープ・マルチモーダル・セット(Deep Multi-Modal Sets)は、1つの長く成長する固定サイズのベクトルではなく、非順序集合として特徴の集合を表現する技法である。 さまざまなタイプのタスクを学習するために,さまざまなモダリティを理由として,スケーラブルでマルチモーダルなフレームワークを実証する。
  論文  参考訳（メタデータ） (2020-03-03T15:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。