論文の概要: Equilibrium Aggregation: Encoding Sets via Optimization

• arxiv url: http://arxiv.org/abs/2202.12795v1
• Date: Fri, 25 Feb 2022 16:13:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 13:43:43.658939
• Title: Equilibrium Aggregation: Encoding Sets via Optimization
• Title（参考訳）: 平衡アグリゲーション:最適化による符号化セット
• Authors: Sergey Bartunov, Fabian B. Fuchs, Timothy Lillicrap
• Abstract要約: 平衡集約と呼ばれる最適化に基づく手法を提案する。 本研究は,エクイリビウム・アグリゲーションの特別な事例として,既存のアグリゲーション・メソッドを復元可能であることを示す。 我々は,その効率を中央値推定,クラスカウント,分子特性予測の3つのタスクで検証する。
• 参考スコア（独自算出の注目度）: 4.849550522970841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Processing sets or other unordered, potentially variable-sized inputs in neural networks is usually handled by \emph{aggregating} a number of input tensors into a single representation. While a number of aggregation methods already exist from simple sum pooling to multi-head attention, they are limited in their representational power both from theoretical and empirical perspectives. On the search of a principally more powerful aggregation strategy, we propose an optimization-based method called Equilibrium Aggregation. We show that many existing aggregation methods can be recovered as special cases of Equilibrium Aggregation and that it is provably more efficient in some important cases. Equilibrium Aggregation can be used as a drop-in replacement in many existing architectures and applications. We validate its efficiency on three different tasks: median estimation, class counting, and molecular property prediction. In all experiments, Equilibrium Aggregation achieves higher performance than the other aggregation techniques we test.
• Abstract（参考訳）: ニューラルネットワークの処理セットや他の順序付けされていない可変サイズの入力は通常、複数の入力テンソルを単一の表現に変換することで処理される。 単純な和のプーリングから多頭注意まで、すでに多くの集約手法が存在するが、それらは理論的および経験的観点からの表現力に制限されている。 主により強力なアグリゲーション戦略の探索において,Equilibrium Aggregationと呼ばれる最適化に基づく手法を提案する。 既存の集約手法の多くは, 平衡集約の特別な場合として回収可能であること, 重要な場合において, より効果的であることを示す。 Equilibrium Aggregationは、既存の多くのアーキテクチャやアプリケーションにおいて、ドロップイン代替として使用することができる。 我々は,その効率を中央値推定,クラスカウント,分子特性予測の3つのタスクで検証する。 すべての実験において、平衡アグリゲーションは他のアグリゲーション技術よりも高い性能を達成する。

関連論文リスト

• BI-EqNO: Generalized Approximate Bayesian Inference with an Equivariant Neural Operator Framework [9.408644291433752]
  一般化されたベイズ近似のための同変ニューラル演算系であるBI-EqNOを導入する。 BI-EqNOは、データ駆動トレーニングを通じて、条件付き観測データに基づいて事前を後方に変換する。 BI-EqNO の応用例は,(1) 回帰のための一般化ガウス過程 (gGP) と(2) 逐次データ同化のためのアンサンブルニューラルフィルタ (EnNF) の2つである。
  論文  参考訳（メタデータ） (2024-10-21T18:39:16Z)
• Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers [24.88026399458157]
  ビザンティンの機械学習は、予測不可能な欠陥によってかなりの注目を集めている。 分散学習におけるマシンのセキュア化の鍵は、レジリエントな集約メカニズムである。
  論文  参考訳（メタデータ） (2023-12-20T08:36:55Z)
• Deep Similarity Learning Loss Functions in Data Transformation for Class Imbalance [2.693342141713236]
  本稿では、ディープニューラルネットワークを用いて、マルチクラスデータの新しい表現を学習する。 本提案では,学習した組込み表現における例の位置などの特徴の分布を修正し,クラスサイズを変更しない。 マルチクラス不均衡ベンチマークデータセットと3つの分類器を用いた実験は,提案手法の利点を示した。
  論文  参考訳（メタデータ） (2023-12-16T23:10:09Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Consensual Aggregation on Random Projected High-dimensional Features for Regression [0.0]
  本稿では,ランダムに投影された回帰予測の高次元的特徴に対するカーネルベースの合意アグリゲーションについて検討する。 集約方式は, 非常に大きく, 高い相関性を持つ特徴に対して, その性能を保っていることを数値的に説明する。 提案手法の効率性は,様々な種類の合成データセットと実データセットで評価されたいくつかの実験を通して説明される。
  論文  参考訳（メタデータ） (2022-04-06T06:35:47Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)
• M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
  ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。 本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。 提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-04-01T13:21:17Z)
• Statistically Guided Divide-and-Conquer for Sparse Factorization of Large Matrix [2.345015036605934]
  統計的問題をスパース係数回帰として定式化し、分割コンカレントアプローチでそれに取り組む。 第1段階分割では、タスクを1組の同時並列推定(CURE)問題に単純化するための2つの潜時並列アプローチについて検討する。 第2段階分割では、CUREの全解を効率的に追跡するために、一連の単純な増分経路からなる段階学習手法を革新する。
  論文  参考訳（メタデータ） (2020-03-17T19:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。