論文の概要: Approximation of relation functions and attention mechanisms

• arxiv url: http://arxiv.org/abs/2402.08856v1
• Date: Tue, 13 Feb 2024 23:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 17:19:14.825558
• Title: Approximation of relation functions and attention mechanisms
• Title（参考訳）: 関係関数の近似と注意機構
• Authors: Awni Altabaa, John Lafferty
• Abstract要約: ニューラルネットワーク特徴写像の内部積は、入力間の関係をモデル化する方法として現れる。 本研究では,ニューラルネットワークの内部積の近似特性について検討する。
• 参考スコア（独自算出の注目度）: 2.99146123420045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inner products of neural network feature maps arises in a wide variety of machine learning frameworks as a method of modeling relations between inputs. This work studies the approximation properties of inner products of neural networks. It is shown that the inner product of a multi-layer perceptron with itself is a universal approximator for symmetric positive-definite relation functions. In the case of asymmetric relation functions, it is shown that the inner product of two different multi-layer perceptrons is a universal approximator. In both cases, a bound is obtained on the number of neurons required to achieve a given accuracy of approximation. In the symmetric case, the function class can be identified with kernels of reproducing kernel Hilbert spaces, whereas in the asymmetric case the function class can be identified with kernels of reproducing kernel Banach spaces. Finally, these approximation results are applied to analyzing the attention mechanism underlying Transformers, showing that any retrieval mechanism defined by an abstract preorder can be approximated by attention through its inner product relations. This result uses the Debreu representation theorem in economics to represent preference relations in terms of utility functions.
• Abstract（参考訳）: ニューラルネットワークの特徴マップの内部積は、入力間の関係をモデル化する方法として、幅広い機械学習フレームワークに現れる。 本研究では,ニューラルネットワークの内部積の近似特性について検討する。 自己を持つ多層パーセプトロンの内積は、対称正定値関係関数の普遍的近似子であることが示されている。 非対称関係関数の場合、2つの異なる多層パーセプトロンの内積は普遍的近似子であることが示されている。 どちらの場合も、与えられた近似の精度を達成するのに必要なニューロンの数にバウンドが与えられる。 対称の場合、函数類は再生核ヒルベルト空間の核と同一視できるが、非対称の場合、函数類は再生核バナッハ空間の核と同一視することができる。 最後に、これらの近似結果をトランスフォーマーの基盤となるアテンションメカニズムの解析に適用し、抽象的なプレオーダーによって定義された任意の検索機構が、その内部積関係を通してアテンションによって近似可能であることを示す。 この結果は、経済学におけるデブリュー表現定理を用いて、実用関数の観点で選好関係を表現する。

関連論文リスト

• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Algebraic function based Banach space valued ordinary and fractional neural network approximations [0.0]
  近似はポイントワイドで一様ノルムです 関連するバナッハ空間値フィードフォワードニューラルネットワークは、1つの隠蔽層を持つ。
  論文  参考訳（メタデータ） (2022-02-11T20:08:52Z)
• Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective [0.8594140167290097]
  マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:01:34Z)
• Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation [58.80806716024701]
  ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。 注意点の変動の大部分は低次元固有空間にあることがわかった。 トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
  論文  参考訳（メタデータ） (2021-06-16T14:38:42Z)
• A supervised learning algorithm for interacting topological insulators based on local curvature [6.281776745576886]
  本稿では,高対称性点における曲率関数のみを入力データとして利用する教師付き機械学習手法を提案する。 相互作用しないデータでトレーニングされた人工ニューラルネットワークは、相互作用するケースのすべての位相位相を正確に予測できることを示す。 興味深いことに、この手法はユビキタスな相互作用によって引き起こされるトポロジカル量子多臨界性を明らかにする。
  論文  参考訳（メタデータ） (2021-04-22T18:00:00Z)
• Representation Theorem for Matrix Product States [1.7894377200944511]
  本稿では, 行列積状態(MPS)の普遍的表現能力について, 関数と連続関数の観点から検討する。 任意のゲートに対して対応するMPS構造の構築方法を提供することにより、MPSが任意の機能を正確に実現できることを示した。 我々は,MPSとニューラルネットワークの関係について検討し,スケール不変なシグモダル関数を持つMPSが一層ニューラルネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2021-03-15T11:06:54Z)
• Adding machine learning within Hamiltonians: Renormalization group transformations, symmetry breaking and restoration [0.0]
  我々は、位相分類のために設計されたニューラルネットワークの予測関数を、系のハミルトニアン内の外部磁場に結合した共役変数として含む。 結果は, 対称性を破り, 復元することで, 秩序相転移を誘導できることを示す。 機械学習と物理をブリッジする上で,この手法がいかに重要なステップを提供するかを論じる。
  論文  参考訳（メタデータ） (2020-09-30T18:44:18Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。