論文の概要: Kernel Deformed Exponential Families for Sparse Continuous Attention

• arxiv url: http://arxiv.org/abs/2111.01222v1
• Date: Mon, 1 Nov 2021 19:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 00:04:43.813641
• Title: Kernel Deformed Exponential Families for Sparse Continuous Attention
• Title（参考訳）: スパース連続注意のためのカーネル変形指数関数族
• Authors: Alexander Moreno, Supriya Nagesh, Zhenke Wu, Walter Dempsey, James M. Rehg
• Abstract要約: カーネル指数および変形指数族の存在結果を示す。 実験により、カーネル変形指数族はデータ領域の複数のコンパクト領域に参加することができることが示された。
• 参考スコア（独自算出の注目度）: 76.61129971916702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms take an expectation of a data representation with respect to probability weights. This creates summary statistics that focus on important features. Recently, (Martins et al. 2020, 2021) proposed continuous attention mechanisms, focusing on unimodal attention densities from the exponential and deformed exponential families: the latter has sparse support. (Farinhas et al. 2021) extended this to use Gaussian mixture attention densities, which are a flexible class with dense support. In this paper, we extend this to two general flexible classes: kernel exponential families and our new sparse counterpart kernel deformed exponential families. Theoretically, we show new existence results for both kernel exponential and deformed exponential families, and that the deformed case has similar approximation capabilities to kernel exponential families. Experiments show that kernel deformed exponential families can attend to multiple compact regions of the data domain.
• Abstract（参考訳）: 注意機構は、確率重みに関してデータ表現の期待値を取る。 これは重要な機能に焦点を当てた要約統計を作成する。 近年 (Martins et al. 2020, 2021) は指数関数的・変形的指数関数族からの非指数的注意密度に着目した継続的注意機構を提案している。 (Farinhas et al. 2021)はこれを拡張して、密集した柔軟なクラスであるガウス混合注意密度を使用した。 本稿では、これを2つの一般的なフレキシブルクラス、すなわち、カーネル指数族と、新しいスパース対カーネル指数族に拡張する。 理論的には、核指数関数群と変形指数関数群の両方に対する新たな存在結果を示し、変形した場合が核指数関数群と同様の近似能力を持つことを示す。 実験により、カーネル変形指数族はデータ領域の複数のコンパクト領域に参加することができることが示された。

関連論文リスト

• Inferring Kernel $ε$-Machines: Discovering Structure in Complex Systems [49.1574468325115]
  本稿では,カーネル因果状態推定を縮小次元空間における座標の集合として符号化する因果拡散成分を提案する。 それぞれのコンポーネントがデータから予測機能を抽出し,そのアプリケーションを4つの例で示す。
  論文  参考訳（メタデータ） (2024-10-01T21:14:06Z)
• Clustering above Exponential Families with Tempered Exponential Measures [28.532545355403123]
  指数関数族とのリンクにより、$k$-meansクラスタリングは、幅広いデータ生成分布に一般化できるようになった。 指数族を超えて働くための枠組みは、公理化で彫られた人口最小化の頑丈さが欠如しているなど、道路ブロックを持ち上げるために重要である。
  論文  参考訳（メタデータ） (2022-11-04T21:58:40Z)
• Hida-Mat\'ern Kernel [8.594140167290098]
  定常ガウス・マルコフ過程の全空間上の共分散関数の正準族であるヒルダ・マタン核のクラスを示す。 カーネルとそのデリバティブのみを用いて状態空間モデルのようなプロセスを表現する方法を示す。 また,状態空間表現の特殊特性を活用することで,計算複雑性のさらなる低減に加えて,数値安定性の向上がもたらされることを示す。
  論文  参考訳（メタデータ） (2021-07-15T03:25:10Z)
• Memory kernel and divisibility of Gaussian Collisional Models [0.0]
  オープンシステムのダイナミクスにおけるメモリ効果は、ここ数十年で大きな関心を集めてきた。 我々は,部分的なSWAPを実装したビームスプリッタと,アンシラを絡めて励起をシステムに供給する2モードスキューズという2種類の相互作用を解析する。 これら2つの代表的なシナリオのメモリカーネルの解析と拡張性により、量子領域におけるメモリ効果の背後にある複雑なメカニズムの解明に寄与する。
  論文  参考訳（メタデータ） (2020-08-03T10:28:55Z)
• Sparse and Continuous Attention Mechanisms [14.941013982958209]
  1,2。 注意に基づくテキスト分類、機械翻訳、視覚的質問応答の実験は、1Dと2Dの連続的注意の使用を示している。
  論文  参考訳（メタデータ） (2020-06-12T14:16:48Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Cumulant-free closed-form formulas for some common (dis)similarities between densities of an exponential family [38.13659821903422]
  本研究では、累積関数の明示的使用を回避した(dis)相似性公式を報告する。 提案手法では, 指数関数列の密度を部分的に分解するだけでよい。
  論文  参考訳（メタデータ） (2020-03-05T07:46:22Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。