論文の概要: SHORING: Design Provable Conditional High-Order Interaction Network via Symbolic Testing

• arxiv url: http://arxiv.org/abs/2107.01326v1
• Date: Sat, 3 Jul 2021 02:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-07-06 15:19:53.619471
• Title: SHORING: Design Provable Conditional High-Order Interaction Network via Symbolic Testing
• Title（参考訳）: shoring: シンボリックテストによる条件付き高次インタラクションネットワークの設計
• Authors: Hui Li, Xing Fu, Ruofan Wu, Jinyu Xu, Kai Xiao, Xiaofu Chang, Weiqiang Wang, Shuai Chen, Leilei Shi, Tao Xiong, Yuan Qi
• Abstract要約: 我々は、ニューラルネットワークによってどのような専門家由来の機能が学べるかという疑問に答えるのに役立つシンボリックテスティングフレームワークを提案する。 このテストフレームワークに触発されて、SHORINGと呼ばれる効率的なアーキテクチャを導入しました。 SHORINGは,標準的なマルチヘッド自己認識ネットワークでは学習できない,標準的な記号表現を学習することができる,と我々は主張する。
• 参考スコア（独自算出の注目度）: 15.324528842034177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning provides a promising way to extract effective representations from raw data in an end-to-end fashion and has proven its effectiveness in various domains such as computer vision, natural language processing, etc. However, in domains such as content/product recommendation and risk management, where sequence of event data is the most used raw data form and experts derived features are more commonly used, deep learning models struggle to dominate the game. In this paper, we propose a symbolic testing framework that helps to answer the question of what kinds of expert-derived features could be learned by a neural network. Inspired by this testing framework, we introduce an efficient architecture named SHORING, which contains two components: \textit{event network} and \textit{sequence network}. The \textit{event} network learns arbitrarily yet efficiently high-order \textit{event-level} embeddings via a provable reparameterization trick, the \textit{sequence} network aggregates from sequence of \textit{event-level} embeddings. We argue that SHORING is capable of learning certain standard symbolic expressions which the standard multi-head self-attention network fails to learn, and conduct comprehensive experiments and ablation studies on four synthetic datasets and three real-world datasets. The results show that SHORING empirically outperforms the state-of-the-art methods.
• Abstract（参考訳）: ディープラーニングは、エンドツーエンドの方法で生データから効果的な表現を抽出する有望な方法を提供し、コンピュータビジョンや自然言語処理など、さまざまな領域でその効果が証明されている。 しかし、コンテンツ/プロダクトのレコメンデーションやリスク管理といったドメインでは、イベントデータのシーケンスが最も使用される生データフォームであり、専門家が派生した機能がより一般的に使用される場合、ディープラーニングモデルがゲームの支配に苦しむ。 本稿では,ニューラルネットワークによってどのような特徴が学習できるのかという疑問に答えるのに役立つシンボリックテストフレームワークを提案する。 このテストフレームワークにインスパイアされたSHORINGは,2つのコンポーネント, \textit{event network} と \textit{sequence network} を含む。 \textit{event} ネットワークは、証明可能な再パラメータ化トリックを通じて、任意にかつ効率的に高次 \textit{event-level} 埋め込みを学習し、 \textit{event-level} 埋め込みのシーケンスから \textit{sequence} ネットワークが集約される。 SHORINGは,標準的なマルチヘッド自己認識ネットワークでは学習できない,標準的な記号表現を学習し,4つの合成データセットと3つの実世界のデータセットに関する総合的な実験およびアブレーション研究を行うことができる。 その結果,SHORINGは最先端の手法よりも経験的に優れていることがわかった。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
  大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。 構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。 我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。 視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
  論文  参考訳（メタデータ） (2024-07-24T16:47:45Z)
• Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
  Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。 制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Deepfake Detection via Joint Unsupervised Reconstruction and Supervised Classification [25.84902508816679]
  本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。 この方法は、あるタスクによって学習された情報を他のタスクと共有する。 提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T05:44:26Z)
• FaceTopoNet: Facial Expression Recognition using Face Topology Learning [23.139108533273777]
  本稿では,顔の効果的なツリートポロジーを学習可能な,表情認識のためのエンドツーエンドの深層モデルを提案する。 我々のモデルは学習した木をトラバースしてシーケンスを生成し、次に埋め込みを形成してシーケンシャルな学習者に供給する。 提案手法を評価するために,大規模な4つの顔表情データセットについて広範囲に実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T22:02:54Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
  本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。 外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-09T09:44:05Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning [0.0]
  本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。 本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。 画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2021-07-08T10:54:59Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• Adversarial Context Aware Network Embeddings for Textual Networks [8.680676599607123]
  既存のアプローチでは、接続ノードの埋め込みを同様のものにすることで、テキストとネットワーク構造の埋め込みを学習する。 これは、これらのアプローチが埋め込みを学ぶためにエッジ情報を必要としており、目に見えないノードの埋め込みを学ぶことができないことを意味している。 本稿では,モダリティ融合と未確認ノードの埋め込みを学習する能力の両方を実現するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:20:01Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Text Recognition in Real Scenarios with a Few Labeled Samples [55.07859517380136]
  Scene Text Recognition (STR) はコンピュータビジョン分野におけるホットな研究テーマである。 本稿では,数ショットの逆数列領域適応 (FASDA) を用いて構築シーケンスを適応する手法を提案する。 我々のアプローチは、ソースドメインとターゲットドメインの間の文字レベルの混乱を最大化することができる。
  論文  参考訳（メタデータ） (2020-06-22T13:03:01Z)
• MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
  本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。 マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。 本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-05-15T10:37:02Z)
• Deep Learning Approach for Enhanced Cyber Threat Indicators in Twitter Stream [3.7354197654171797]
  本研究は、ツイートデータ分析のためのディープラーニングに基づくアプローチを提案する。 ツイートを数値表現に変換するには、様々なテキスト表現を用いる。 比較分析には古典的機械学習アルゴリズムを用いた古典的テキスト表現法を用いる。
  論文  参考訳（メタデータ） (2020-03-31T00:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。