論文の概要: Infinite-Dimensional Feature Interaction

• arxiv url: http://arxiv.org/abs/2405.13972v2
• Date: Fri, 24 May 2024 07:04:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:48:22.592342
• Title: Infinite-Dimensional Feature Interaction
• Title（参考訳）: 無限次元特徴相互作用
• Authors: Chenhui Xu, Fuxun Yu, Maoliang Li, Zihao Zheng, Zirui Xu, Jinjun Xiong, Xiang Chen,
• Abstract要約: InfiNetはRBFカーネルによって作成された無限次元空間内での機能相互作用を可能にするモデルアーキテクチャである。 実験の結果,InfiNetは無限次元の相互作用を活用できるため,新たな最先端技術を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 22.694922451810495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The past neural network design has largely focused on feature representation space dimension and its capacity scaling (e.g., width, depth), but overlooked the feature interaction space scaling. Recent advancements have shown shifted focus towards element-wise multiplication to facilitate higher-dimensional feature interaction space for better information transformation. Despite this progress, multiplications predominantly capture low-order interactions, thus remaining confined to a finite-dimensional interaction space. To transcend this limitation, classic kernel methods emerge as a promising solution to engage features in an infinite-dimensional space. We introduce InfiNet, a model architecture that enables feature interaction within an infinite-dimensional space created by RBF kernel. Our experiments reveal that InfiNet achieves new state-of-the-art, owing to its capability to leverage infinite-dimensional interactions, significantly enhancing model performance.
• Abstract（参考訳）: 過去のニューラルネットワーク設計では、機能表現空間の次元とキャパシティスケーリング(例えば、幅、深さ)に重点を置いていたが、機能相互作用空間のスケーリングを見落としていた。 最近の進歩は、情報変換を改善するために高次元の特徴相互作用空間を促進するために、要素ワイド乗法に焦点を移している。 この進歩にもかかわらず、乗法は主に低次の相互作用を捉え、したがって有限次元の相互作用空間に限られる。 この制限を超越するために、古典的なカーネルメソッドは無限次元空間で機能を実行するための有望な解決策として現れる。 本稿では,RBFカーネルが生成する無限次元空間内での機能相互作用を可能にするモデルアーキテクチャであるInfiNetを紹介する。 実験の結果,無限次元の相互作用を活用する能力により,InfiNetは新たな最先端技術を実現し,モデル性能を大幅に向上することがわかった。

関連論文リスト

• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• Contrastive Sequential Interaction Network Learning on Co-Evolving Riemannian Spaces [44.175106851212874]
  本稿では,Riemann空間を共進化させるCSINCEREにおける逐次相互作用ネットワーク学習のための新しいコントラストモデルを提案する。 CSINCEREでは、表現空間を横断するメッセージパッシングのためのクロススペースアグリゲーションを定式化する。 また、時間とともに空間の進化をモデル化するためのリッチ曲率に基づくニューラル曲率推定器を設計する。
  論文  参考訳（メタデータ） (2024-01-02T15:19:01Z)
• Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
  画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。 DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。 我々のDATは現在の手法を超越している。
  論文  参考訳（メタデータ） (2023-08-07T07:39:39Z)
• SINCERE: Sequential Interaction Networks representation learning on Co-Evolving RiEmannian manifolds [9.710773626459718]
  SINCEREは、共進化リーマン多様体上の逐次相互作用ネットワークを表す新しい方法である。 ユーザーとアイテムをそれぞれの空間に埋め込んだ軌跡を考慮に入れ、時間とともに曲率がどのように変化するかという空間の進化を強調する。 いくつかの実世界のデータセットの実験は、最先端のシーケンシャル相互作用予測法に対してSINCEREの有望な性能を示す。
  論文  参考訳（メタデータ） (2023-05-06T00:38:29Z)
• Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions [63.21838830509772]
  集合関数を低次元連続領域に拡張するためのフレームワークを開発する。 我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。 我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
  論文  参考訳（メタデータ） (2022-08-08T10:58:02Z)
• Interaction Transformer for Human Reaction Generation [61.22481606720487]
  本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。 我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-07-04T19:30:41Z)
• Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks [11.480563447698172]
  無限幅多層パーセプトロン(MLP)の固有構造は、概念周波数のみに依存することを示す。 深層畳み込みネットワーク(CNN)のトポロジは、関連する固有空間をより微細な部分空間に再構成する。 その結果得られた微細な固有構造は、ネットワークの学習性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-10T15:44:14Z)
• Pure Exploration in Kernel and Neural Bandits [90.23165420559664]
  我々は、特徴表現の次元が腕の数よりもはるかに大きい帯域における純粋な探索について研究する。 そこで本研究では,各アームの特徴表現を低次元空間に適応的に埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T19:51:59Z)
• Convolutions for Spatial Interaction Modeling [9.408751013132624]
  自律走行車周辺におけるアクターの移動予測における空間相互作用モデリングの問題点について考察する。 我々は畳み込みを再検討し,低レイテンシで空間相互作用をモデル化する上で,グラフネットワークと同等のパフォーマンスを実証できることを示した。
  論文  参考訳（メタデータ） (2021-04-15T00:41:30Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。