論文の概要: Beam Tree Recursive Cells

• arxiv url: http://arxiv.org/abs/2305.19999v1
• Date: Wed, 31 May 2023 16:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:23:43.058184
• Title: Beam Tree Recursive Cells
• Title（参考訳）: ビームツリー再帰細胞
• Authors: Jishnu Ray Chowdhury, Cornelia Caragea
• Abstract要約: 本稿では,遅延構造誘導のためのビームサーチによる再帰ニューラルネットワーク(RvNN)の拡張を目的としたビームツリー再帰セル(BT-Cell)を提案する。 提案したモデルは, 合成データと実データの両方において, 異なる分配分割で評価する。
• 参考スコア（独自算出の注目度）: 54.958581892688095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Beam Tree Recursive Cell (BT-Cell) - a backpropagation-friendly framework to extend Recursive Neural Networks (RvNNs) with beam search for latent structure induction. We further extend this framework by proposing a relaxation of the hard top-k operators in beam search for better propagation of gradient signals. We evaluate our proposed models in different out-of-distribution splits in both synthetic and realistic data. Our experiments show that BTCell achieves near-perfect performance on several challenging structure-sensitive synthetic tasks like ListOps and logical inference while maintaining comparable performance in realistic data against other RvNN-based models. Additionally, we identify a previously unknown failure case for neural models in generalization to unseen number of arguments in ListOps. The code is available at: https://github.com/JRC1995/ BeamTreeRecursiveCells.
• Abstract（参考訳）: 本稿では,Recursive Neural Networks (RvNN) を拡張し,遅延構造誘導のためのビームサーチを行うバックプロパゲーションフレンドリーなフレームワークである Beam Tree Recursive Cell (BT-Cell) を提案する。 この枠組みをさらに拡張し,ビーム探索におけるハードトップk演算子の緩和を提案すれば,勾配信号の伝搬性が向上する。 提案手法は, 合成データと現実データの両方において, 異なる分布分割で評価する。 実験の結果、BTCellはリストOpsや論理推論といった難易度の高い構造依存型合成タスクにおいて、他のRvNNモデルと同等の性能を保ちながら、ほぼ完璧な性能を実現していることがわかった。 さらに, listops における未知の引数数に対する一般化において,神経モデルの既知の障害事例を同定する。 コードは、https://github.com/JRC 1995/ BeamTreeRecursiveCells.comで入手できる。

関連論文リスト

• Fast, accurate and lightweight sequential simulation-based inference using Gaussian locally linear mappings [0.820217860574125]
  シミュレーションベース推論(SBI)の代替として,確率と後部分布の両方を近似する手法を提案する。 提案手法は,マルチモーダル後部であっても,最先端NNベースのSBI法と比較して正確な後部推測を導出する。 本研究は,SBI文献から得られたいくつかのベンチマークモデルと,mRNAトランスフェクション後の翻訳動態の生物学的モデルについて述べる。
  論文  参考訳（メタデータ） (2024-03-12T09:48:17Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
  本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。 ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。 提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-03T02:45:52Z)
• Generative Trees: Adversarial and Copycat [26.09279398946235]
  我々は、DT誘導のための教師付きタスクの最高のコンポーネントについての数十年前からの理解を活用している。 木に基づく生成モデル, テクスト生成木(GT)を紹介する。 我々は、フェイク/現実の区別、フェイクデータからのトレーニング、欠落データ計算などのタスクでアルゴリズムをテストする。
  論文  参考訳（メタデータ） (2022-01-26T22:02:43Z)
• Convergent Boosted Smoothing for Modeling Graph Data with Tabular Node Features [46.052312251801]
  本稿では,グラフ伝播ステップでブースティングを反復するフレームワークを提案する。 我々のアプローチは、原則化されたメタロス関数に固定されている。 様々な非イドグラフデータセットに対して,本手法は同等あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-26T04:53:12Z)
• Boost then Convolve: Gradient Boosting Meets Graph Neural Networks [6.888700669980625]
  グラデーションブースト決定木(gbdt)は,異種データに対して他の機械学習手法よりも優れていることが示されている。 我々は,gbdt と gnn を共同で訓練し,両世界のベストを勝ち取る新しいアーキテクチャを提案する。 我々のモデルは、GNNの勾配更新に新しい木を適合させることにより、エンドツーエンドの最適化の恩恵を受ける。
  論文  参考訳（メタデータ） (2021-01-21T10:46:41Z)
• Stretchable Cells Help DARTS Search Better [70.52254306274092]
  分化可能なニューラルアーキテクチャサーチ(DARTS)は、柔軟で多様な細胞タイプを発見することに成功している。 現在のDARTS法は、広くて浅い細胞に傾向があり、このトポロジー崩壊は、準最適細胞を誘導する。 本稿では,細胞に伸縮性を持たせることで,ストレッチ可能な細胞に直接サーチを実装できることを示す。
  論文  参考訳（メタデータ） (2020-11-18T14:15:51Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)
• Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling [29.138765941440145]
  Dirichlet Belief Network (DirBN) は、オブジェクトの解釈可能な深層潜伏表現の学習において有望なアプローチとして提案されている。 本稿では,動的リレーショナルデータから解釈可能な隠れ構造を研究するための動的確率的フレームワークであるRecurrent Dirichlet Belief Network(Recurrent-DBN)を提案する。
  論文  参考訳（メタデータ） (2020-02-24T13:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。