論文の概要: Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater
Relational Expressiveness
- arxiv url: http://arxiv.org/abs/2006.12392v2
- Date: Sat, 3 Oct 2020 06:14:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 06:33:06.963359
- Title: Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater
Relational Expressiveness
- Title(参考訳): 関係表現性を高めるランダムウェイト・非トレーニングニューラルテンソルネットワーク
- Authors: Jinyung Hong, Theodore P. Pavlic
- Abstract要約: ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたネットワークに組み込むランダム重み付きネットワーク(RWTN)を提案する。
RWTNは、画像解釈(SIITN)のために伝統的に訓練されたLTNのパフォーマンスを満たすか、超えるかを示す。
RWTNは、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同等のパフォーマンスを達成できることを実証する。
- 参考スコア(独自算出の注目度): 3.5408022972081694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Tensor Networks (NTNs), which are structured to encode the degree of
relationship among pairs of entities, are used in Logic Tensor Networks (LTNs)
to facilitate Statistical Relational Learning (SRL) in first-order logic. In
this paper, we propose Randomly Weighted Tensor Networks (RWTNs), which
incorporate randomly drawn, untrained tensors into an NTN encoder network with
a trained decoder network. We show that RWTNs meet or surpass the performance
of traditionally trained LTNs for Semantic Image Interpretation (SII) tasks
that have been used as a representative example of how LTNs utilize reasoning
over first-order logic to exceed the performance of solely data-driven methods.
We demonstrate that RWTNs outperform LTNs for the detection of the relevant
part-of relations between objects, and we show that RWTNs can achieve similar
performance as LTNs for object classification while using fewer parameters for
learning. Furthermore, we demonstrate that because the randomized weights do
not depend on the data, several decoder networks can share a single NTN, giving
RWTNs a unique economy of spatial scale for simultaneous classification tasks.
- Abstract(参考訳): ニューラルネットワーク(NTN)は、一対のエンティティ間の関係の度合いを符号化するために構成され、一階述語論理における統計的関係学習(SRL)を促進するために、論理テンソルネットワーク(LTN)で使用される。
本稿では、ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたNTNエンコーダネットワークに組み込むランダム重み付きテンソルネットワーク(RWTN)を提案する。
rwtnは,一階述語論理を用いた推論の方法の典型例として用いられてきた意味的画像解釈(sii)タスクにおいて,伝統的に訓練されたltnの性能を満たしているか,あるいは超えていることを示す。
RWTNは、オブジェクト間の関係を検出するためにLTNよりも優れており、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同じような性能が得られることを示す。
さらに、ランダム化重みはデータに依存しないため、複数のデコーダネットワークは単一のNTNを共有でき、RWTNは同時分類タスクのための空間スケールのユニークな経済性を与える。
関連論文リスト
- LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳(メタデータ) (2023-10-23T14:26:16Z) - Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。
本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。
数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
論文 参考訳(メタデータ) (2022-06-14T05:12:49Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Representing Prior Knowledge Using Randomly, Weighted Feature Networks
for Visual Relationship Detection [2.28438857884398]
RWFN (Randomly Weighted Feature Network) - 香港とパヴリックが導入。
本稿では,RWFNを用いて視覚的関係検出(VRD)タスクを行う。
論文 参考訳(メタデータ) (2021-11-20T21:56:45Z) - An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier
Features For Neuro-Symbolic Relational Learning [2.28438857884398]
適応線形モデルをデコーダとして用いたエンコーダにランダムに描画された未学習重みを組み込んだランダム重み付き特徴ネットワークを提案する。
この特殊表現により、RWFNは線形デコーダモデルのみを訓練することで、入力間の関係の度合いを効果的に学習することができる。
LTNと比較して、RWFNsはオブジェクト分類とSIIタスクにおけるオブジェクト間の部分関係の検出の両方において、より良い、あるいは類似した性能を達成できることを実証した。
論文 参考訳(メタデータ) (2021-09-11T22:45:08Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T12:34:59Z) - Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。
我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文 参考訳(メタデータ) (2021-01-22T10:45:40Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Resource Allocation via Graph Neural Networks in Free Space Optical
Fronthaul Networks [119.81868223344173]
本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。
我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。
本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
論文 参考訳(メタデータ) (2020-06-26T14:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。