論文の概要: Generalising Recursive Neural Models by Tensor Decomposition

• arxiv url: http://arxiv.org/abs/2006.10021v1
• Date: Wed, 17 Jun 2020 17:28:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 18:58:13.560217
• Title: Generalising Recursive Neural Models by Tensor Decomposition
• Title（参考訳）: テンソル分解による再帰的ニューラルモデルの一般化
• Authors: Daniele Castellana and Davide Bacciu
• Abstract要約: テンソル型定式化を利用した構造文脈のモデルアグリゲーションに対する一般的なアプローチを提案する。 パラメータ空間の大きさの指数関数的成長は、タッカー分解に基づく近似によって制御できることを示す。 これにより、隠れたサイズ、計算複雑性、モデル一般化によって制御される符号化の表現性の間のトレードオフを効果的に制御できる。
• 参考スコア（独自算出の注目度）: 12.069862650316262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most machine learning models for structured data encode the structural knowledge of a node by leveraging simple aggregation functions (in neural models, typically a weighted sum) of the information in the node's neighbourhood. Nevertheless, the choice of simple context aggregation functions, such as the sum, can be widely sub-optimal. In this work we introduce a general approach to model aggregation of structural context leveraging a tensor-based formulation. We show how the exponential growth in the size of the parameter space can be controlled through an approximation based on the Tucker tensor decomposition. This approximation allows limiting the parameters space size, decoupling it from its strict relation with the size of the hidden encoding space. By this means, we can effectively regulate the trade-off between expressivity of the encoding, controlled by the hidden size, computational complexity and model generalisation, influenced by parameterisation. Finally, we introduce a new Tensorial Tree-LSTM derived as an instance of our framework and we use it to experimentally assess our working hypotheses on tree classification scenarios.
• Abstract（参考訳）: ほとんどの構造化データのための機械学習モデルは、ノードの周辺にある情報の単純な集約関数(ニューラルネットワークでは重み付け和)を利用して、ノードの構造知識をエンコードする。 それでも、和のような単純な文脈集約関数の選択は、広く準最適である。 本稿では,テンソルに基づく定式化を利用した構造的文脈のモデル集約手法を提案する。 パラメータ空間の大きさの指数関数的成長は、タッカーテンソル分解に基づく近似によって制御できることを示す。 この近似はパラメータの空間サイズを制限し、隠れたエンコーディング空間のサイズと厳密な関係から分離することができる。 これにより、隠蔽サイズ、計算複雑性、およびパラメータ化の影響を受けてモデル一般化によって制御される符号化の表現率のトレードオフを効果的に制御できる。 最後に、我々のフレームワークの例として、新しいTensorial Tree-LSTMを導入し、木分類シナリオにおける作業仮説を実験的に評価する。

関連論文リスト

• Bayesian Semi-structured Subspace Inference [0.0]
  半構造回帰モデルは、解釈可能な構造と複雑な非構造的特徴効果の合同モデリングを可能にする。 部分空間推論を用いた半構造化回帰モデルに対するベイズ近似を提案する。 提案手法は,シミュレーションおよび実世界のデータセット間での競合予測性能を示す。
  論文  参考訳（メタデータ） (2024-01-23T18:15:58Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
  我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。 対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:52:58Z)
• Toward an Over-parameterized Direct-Fit Model of Visual Perception [5.4823225815317125]
  本稿では, 単純細胞と複雑細胞の並列結合機構と逐次結合機構の相違について述べる。 空間分割と合成に抽象化する新たな提案が提案されている。 我々は、$ell_infty$-optimizationに基づいて、動的プログラミング(DP)のような近似近傍探索を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-10-07T23:54:30Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。