論文の概要: Discrete Dictionary-based Decomposition Layer for Structured Representation Learning

• arxiv url: http://arxiv.org/abs/2406.06976v2
• Date: Fri, 01 Nov 2024 01:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:04.609242
• Title: Discrete Dictionary-based Decomposition Layer for Structured Representation Learning
• Title（参考訳）: 離散辞書に基づく構造化表現学習のための分解層
• Authors: Taewon Park, Hyun-Chul Kim, Minho Lee,
• Abstract要約: 本稿では,TPRに基づくモデルの分解能力を高めるために,離散辞書に基づく分解層を提案する。 D3は離散的に学習可能なキー値辞書を使用して、分解操作に不可欠な象徴的特徴をキャプチャする。 実験の結果,D3 は様々な TPR ベースモデルの体系的一般化を著しく改善することが示された。
• 参考スコア（独自算出の注目度）: 6.219373492812263
• License:
• Abstract: Neuro-symbolic neural networks have been extensively studied to integrate symbolic operations with neural networks, thereby improving systematic generalization. Specifically, Tensor Product Representation (TPR) framework enables neural networks to perform differentiable symbolic operations by encoding the symbolic structure of data within vector spaces. However, TPR-based neural networks often struggle to decompose unseen data into structured TPR representations, undermining their symbolic operations. To address this decomposition problem, we propose a Discrete Dictionary-based Decomposition (D3) layer designed to enhance the decomposition capabilities of TPR-based models. D3 employs discrete, learnable key-value dictionaries trained to capture symbolic features essential for decomposition operations. It leverages the prior knowledge acquired during training to generate structured TPR representations by mapping input data to pre-learned symbolic features within these dictionaries. D3 is a straightforward drop-in layer that can be seamlessly integrated into any TPR-based model without modifications. Our experimental results demonstrate that D3 significantly improves the systematic generalization of various TPR-based models while requiring fewer additional parameters. Notably, D3 outperforms baseline models on the synthetic task that demands the systematic decomposition of unseen combinatorial data.
• Abstract（参考訳）: ニューロシンボリックニューラルネットワークは、ニューラルネットワークとシンボリック操作を統合するために広範囲に研究され、体系的な一般化が改善されている。 具体的には、Tensor Product Representation (TPR)フレームワークは、ベクトル空間内のデータのシンボル構造を符号化することにより、ニューラルネットワークが識別可能なシンボル操作を実行できる。 しかしながら、TPRベースのニューラルネットワークは、目に見えないデータを構造化されたTPR表現に分解するのに苦労し、その象徴的な操作を損なうことも多い。 この分解問題に対処するため、TPRモデルにおける分解能力を高めるために、離散辞書に基づく分解層(D3)を提案する。 D3は離散的に学習可能なキー値辞書を使用して、分解操作に不可欠な象徴的特徴をキャプチャする。 トレーニング中に得られた知識を活用して、入力データをこれらの辞書内の事前学習されたシンボル特徴にマッピングすることで構造化されたTPR表現を生成する。 D3は単純なドロップイン層であり、変更することなく任意のTPRベースのモデルにシームレスに統合できる。 実験の結果,D3 は様々な TPR ベースモデルの体系的一般化を著しく改善し,追加パラメータを少なくすることを示した。 特に、D3は、目に見えない組合せデータの体系的な分解を要求する合成タスクのベースラインモデルより優れている。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
  本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。 我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。 さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features [22.657405088126012]
  拡散モデルの特徴は3次元バイオメディカル画像において異なる階層レベルを捉えている。 我々は3次元ボリュームを意味のあるネストされたサブボリュームに分解することを奨励する予測的教師なしセグメンテーションネットワークを訓練する。 われわれのモデルは、既存の教師なし構造発見手法よりも、難解な合成データセットや現実世界の脳腫瘍MRIデータセットよりも優れた性能を達成している。
  論文  参考訳（メタデータ） (2023-04-28T19:37:17Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• A Lexicon and Depth-wise Separable Convolution Based Handwritten Text Recognition System [3.9097549127191473]
  我々は、トレーニング対象のパラメータの総数を減らすために、標準の畳み込みの代わりに奥行きの畳み込みを使用してきた。 テスト段階では辞書ベースのワードビーム検索デコーダも含んでいる。 IAMデータセットでは3.84%の文字誤り率と9.40%のワードエラー率、4.88%の文字エラー率、14.56%のワードエラー率を得た。
  論文  参考訳（メタデータ） (2022-07-11T06:24:26Z)
• DEMAND: Deep Matrix Approximately NonlinearDecomposition to Identify Meta, Canonical, and Sub-Spatial Pattern of functional Magnetic Resonance Imaging in the Human Brain [8.93274096260726]
  本研究では,SDL(Sparse Dictionary Learning)やDNN(Deep Neural Networks)といった浅い線形モデルを活用するために,Deep A roughly Decomposition(DEMAND)という新しい非線形行列分解法を提案する。 DEMANDは、人間の脳の再現可能な代謝、正準的、および部分空間的特徴を、他の仲間の方法論よりも効率的に明らかにすることができる。
  論文  参考訳（メタデータ） (2022-05-20T15:55:01Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
  3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。 局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。 本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
  論文  参考訳（メタデータ） (2020-04-21T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。