論文の概要: SHORING: Design Provable Conditional High-Order Interaction Network via
Symbolic Testing
- arxiv url: http://arxiv.org/abs/2107.01326v1
- Date: Sat, 3 Jul 2021 02:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 15:19:53.619471
- Title: SHORING: Design Provable Conditional High-Order Interaction Network via
Symbolic Testing
- Title（参考訳）: shoring: シンボリックテストによる条件付き高次インタラクションネットワークの設計
- Authors: Hui Li, Xing Fu, Ruofan Wu, Jinyu Xu, Kai Xiao, Xiaofu Chang, Weiqiang
Wang, Shuai Chen, Leilei Shi, Tao Xiong, Yuan Qi
- Abstract要約: 我々は、ニューラルネットワークによってどのような専門家由来の機能が学べるかという疑問に答えるのに役立つシンボリックテスティングフレームワークを提案する。
このテストフレームワークに触発されて、SHORINGと呼ばれる効率的なアーキテクチャを導入しました。
SHORINGは,標準的なマルチヘッド自己認識ネットワークでは学習できない,標準的な記号表現を学習することができる,と我々は主張する。
- 参考スコア（独自算出の注目度）: 15.324528842034177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning provides a promising way to extract effective representations
from raw data in an end-to-end fashion and has proven its effectiveness in
various domains such as computer vision, natural language processing, etc.
However, in domains such as content/product recommendation and risk management,
where sequence of event data is the most used raw data form and experts derived
features are more commonly used, deep learning models struggle to dominate the
game. In this paper, we propose a symbolic testing framework that helps to
answer the question of what kinds of expert-derived features could be learned
by a neural network. Inspired by this testing framework, we introduce an
efficient architecture named SHORING, which contains two components:
\textit{event network} and \textit{sequence network}. The \textit{event}
network learns arbitrarily yet efficiently high-order \textit{event-level}
embeddings via a provable reparameterization trick, the \textit{sequence}
network aggregates from sequence of \textit{event-level} embeddings. We argue
that SHORING is capable of learning certain standard symbolic expressions which
the standard multi-head self-attention network fails to learn, and conduct
comprehensive experiments and ablation studies on four synthetic datasets and
three real-world datasets. The results show that SHORING empirically
outperforms the state-of-the-art methods.
- Abstract（参考訳）: ディープラーニングは、エンドツーエンドの方法で生データから効果的な表現を抽出する有望な方法を提供し、コンピュータビジョンや自然言語処理など、さまざまな領域でその効果が証明されている。
しかし、コンテンツ/プロダクトのレコメンデーションやリスク管理といったドメインでは、イベントデータのシーケンスが最も使用される生データフォームであり、専門家が派生した機能がより一般的に使用される場合、ディープラーニングモデルがゲームの支配に苦しむ。
本稿では,ニューラルネットワークによってどのような特徴が学習できるのかという疑問に答えるのに役立つシンボリックテストフレームワークを提案する。
このテストフレームワークにインスパイアされたSHORINGは,2つのコンポーネント, \textit{event network} と \textit{sequence network} を含む。
\textit{event} ネットワークは、証明可能な再パラメータ化トリックを通じて、任意にかつ効率的に高次 \textit{event-level} 埋め込みを学習し、 \textit{event-level} 埋め込みのシーケンスから \textit{sequence} ネットワークが集約される。
SHORINGは,標準的なマルチヘッド自己認識ネットワークでは学習できない,標準的な記号表現を学習し,4つの合成データセットと3つの実世界のデータセットに関する総合的な実験およびアブレーション研究を行うことができる。
その結果,SHORINGは最先端の手法よりも経験的に優れていることがわかった。
関連論文リスト
- (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。
構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。
我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。
視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
論文 参考訳（メタデータ） (2024-07-24T16:47:45Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。
まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。
次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
論文 参考訳（メタデータ） (2022-06-15T02:33:10Z) - Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。
外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
論文 参考訳（メタデータ） (2022-04-09T09:44:05Z) - Exploiting the relationship between visual and textual features in
social networks for image classification with zero-shot deep learning [0.0]
本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。
本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。
画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
論文 参考訳（メタデータ） (2021-07-08T10:54:59Z) - Minimally-Supervised Structure-Rich Text Categorization via Learning on
Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。
具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。
実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文 参考訳（メタデータ） (2021-02-23T04:14:34Z) - Adversarial Context Aware Network Embeddings for Textual Networks [8.680676599607123]
既存のアプローチでは、接続ノードの埋め込みを同様のものにすることで、テキストとネットワーク構造の埋め込みを学習する。
これは、これらのアプローチが埋め込みを学ぶためにエッジ情報を必要としており、目に見えないノードの埋め込みを学ぶことができないことを意味している。
本稿では,モダリティ融合と未確認ノードの埋め込みを学習する能力の両方を実現するアプローチを提案する。
論文 参考訳（メタデータ） (2020-11-05T05:20:01Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Text Recognition in Real Scenarios with a Few Labeled Samples [55.07859517380136]
Scene Text Recognition (STR) はコンピュータビジョン分野におけるホットな研究テーマである。
本稿では,数ショットの逆数列領域適応 (FASDA) を用いて構築シーケンスを適応する手法を提案する。
我々のアプローチは、ソースドメインとターゲットドメインの間の文字レベルの混乱を最大化することができる。
論文 参考訳（メタデータ） (2020-06-22T13:03:01Z) - Deep Learning Approach for Enhanced Cyber Threat Indicators in Twitter
Stream [3.7354197654171797]
本研究は、ツイートデータ分析のためのディープラーニングに基づくアプローチを提案する。
ツイートを数値表現に変換するには、様々なテキスト表現を用いる。
比較分析には古典的機械学習アルゴリズムを用いた古典的テキスト表現法を用いる。
論文 参考訳（メタデータ） (2020-03-31T00:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。