論文の概要: Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness

• arxiv url: http://arxiv.org/abs/2006.12392v2
• Date: Sat, 3 Oct 2020 06:14:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 06:33:06.963359
• Title: Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness
• Title（参考訳）: 関係表現性を高めるランダムウェイト・非トレーニングニューラルテンソルネットワーク
• Authors: Jinyung Hong, Theodore P. Pavlic
• Abstract要約: ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたネットワークに組み込むランダム重み付きネットワーク(RWTN)を提案する。 RWTNは、画像解釈(SIITN)のために伝統的に訓練されたLTNのパフォーマンスを満たすか、超えるかを示す。 RWTNは、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同等のパフォーマンスを達成できることを実証する。
• 参考スコア（独自算出の注目度）: 3.5408022972081694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Tensor Networks (NTNs), which are structured to encode the degree of relationship among pairs of entities, are used in Logic Tensor Networks (LTNs) to facilitate Statistical Relational Learning (SRL) in first-order logic. In this paper, we propose Randomly Weighted Tensor Networks (RWTNs), which incorporate randomly drawn, untrained tensors into an NTN encoder network with a trained decoder network. We show that RWTNs meet or surpass the performance of traditionally trained LTNs for Semantic Image Interpretation (SII) tasks that have been used as a representative example of how LTNs utilize reasoning over first-order logic to exceed the performance of solely data-driven methods. We demonstrate that RWTNs outperform LTNs for the detection of the relevant part-of relations between objects, and we show that RWTNs can achieve similar performance as LTNs for object classification while using fewer parameters for learning. Furthermore, we demonstrate that because the randomized weights do not depend on the data, several decoder networks can share a single NTN, giving RWTNs a unique economy of spatial scale for simultaneous classification tasks.
• Abstract（参考訳）: ニューラルネットワーク(NTN)は、一対のエンティティ間の関係の度合いを符号化するために構成され、一階述語論理における統計的関係学習(SRL)を促進するために、論理テンソルネットワーク(LTN)で使用される。 本稿では、ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたNTNエンコーダネットワークに組み込むランダム重み付きテンソルネットワーク(RWTN)を提案する。 rwtnは,一階述語論理を用いた推論の方法の典型例として用いられてきた意味的画像解釈(sii)タスクにおいて,伝統的に訓練されたltnの性能を満たしているか,あるいは超えていることを示す。 RWTNは、オブジェクト間の関係を検出するためにLTNよりも優れており、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同じような性能が得られることを示す。 さらに、ランダム化重みはデータに依存しないため、複数のデコーダネットワークは単一のNTNを共有でき、RWTNは同時分類タスクのための空間スケールのユニークな経済性を与える。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
  本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。 ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
  論文  参考訳（メタデータ） (2023-07-01T01:07:20Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Representing Prior Knowledge Using Randomly, Weighted Feature Networks for Visual Relationship Detection [2.28438857884398]
  RWFN (Randomly Weighted Feature Network) - 香港とパヴリックが導入。 本稿では,RWFNを用いて視覚的関係検出(VRD)タスクを行う。
  論文  参考訳（メタデータ） (2021-11-20T21:56:45Z)
• An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier Features For Neuro-Symbolic Relational Learning [2.28438857884398]
  適応線形モデルをデコーダとして用いたエンコーダにランダムに描画された未学習重みを組み込んだランダム重み付き特徴ネットワークを提案する。 この特殊表現により、RWFNは線形デコーダモデルのみを訓練することで、入力間の関係の度合いを効果的に学習することができる。 LTNと比較して、RWFNsはオブジェクト分類とSIIタスクにおけるオブジェクト間の部分関係の検出の両方において、より良い、あるいは類似した性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-09-11T22:45:08Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。