論文の概要: Exploiting Contextual Information with Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2006.11706v2
- Date: Sat, 27 Jun 2020 18:00:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 12:14:40.368178
- Title: Exploiting Contextual Information with Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークによる文脈情報の爆発
- Authors: Ismail Elezi
- Abstract要約: 文脈情報は、暗黙的かつ明示的な2つの根本的に異なる方法で活用できることを示します。
この論文では、文脈情報を2つの根本的に異なる方法で活用できることを示し、暗黙的かつ明示的に示す。
- 参考スコア（独自算出の注目度）: 5.787117733071416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context matters! Nevertheless, there has not been much research in exploiting
contextual information in deep neural networks. For most part, the entire usage
of contextual information has been limited to recurrent neural networks.
Attention models and capsule networks are two recent ways of introducing
contextual information in non-recurrent models, however both of these
algorithms have been developed after this work has started.
In this thesis, we show that contextual information can be exploited in 2
fundamentally different ways: implicitly and explicitly. In the DeepScore
project, where the usage of context is very important for the recognition of
many tiny objects, we show that by carefully crafting convolutional
architectures, we can achieve state-of-the-art results, while also being able
to implicitly correctly distinguish between objects which are virtually
identical, but have different meanings based on their surrounding. In parallel,
we show that by explicitly designing algorithms (motivated from graph theory
and game theory) that take into considerations the entire structure of the
dataset, we can achieve state-of-the-art results in different topics like
semi-supervised learning and similarity learning.
To the best of our knowledge, we are the first to integrate graph-theoretical
modules, carefully crafted for the problem of similarity learning and that are
designed to consider contextual information, not only outperforming the other
models, but also gaining a speed improvement while using a smaller number of
parameters.
- Abstract（参考訳）: コンテキストが重要だ!
それにもかかわらず、深層ニューラルネットワークにおける文脈情報の利用に関する多くの研究は行われていない。
ほとんどの部分において、コンテキスト情報の利用はリカレントニューラルネットワークに限られている。
注意モデルとカプセルネットワークは、非リカレントモデルに文脈情報を導入する2つの最近の方法であるが、これらのアルゴリズムは、この研究が始まってから開発されている。
本論文では,コンテキスト情報を,暗黙的および明示的に,根本的に異なる2つの方法で活用できることを示す。
deepscoreプロジェクトでは、多くの小さなオブジェクトの認識にコンテキストの使用が非常に重要であるが、畳み込みアーキテクチャを慎重に作ることで、最先端の成果を実現できると同時に、事実上同一だがその周囲に基づいて異なる意味を持つオブジェクトを暗黙的に正確に区別できることを示す。
並行して、データセットの全体構造を考慮したアルゴリズム(グラフ理論とゲーム理論の動機)を明示的に設計することで、半教師付き学習や類似性学習のような異なるトピックで最先端の結果が得られることを示す。
我々の知る限りでは、我々はグラフ理論のモジュールを最初に統合し、類似性学習の問題に慎重に設計し、他のモデルよりも優れているだけでなく、より少ないパラメータを用いて、より高速な改善を実現するように設計されている。
関連論文リスト
- Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph
Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。
我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文 参考訳（メタデータ） (2023-06-14T13:07:48Z) - Semantic Enhanced Knowledge Graph for Large-Scale Zero-Shot Learning [74.6485604326913]
我々は、専門知識とカテゴリ意味相関の両方を含む新しい意味強化知識グラフを提供する。
知識グラフの情報伝達のために,Residual Graph Convolutional Network (ResGCN)を提案する。
大規模画像Net-21KデータセットとAWA2データセットを用いた実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2022-12-26T13:18:36Z) - TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。
まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。
次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
論文 参考訳（メタデータ） (2022-06-15T02:33:10Z) - Context-based Deep Learning Architecture with Optimal Integration Layer
for Image Parsing [0.0]
提案した3層コンテキストベースディープアーキテクチャは、コンテキストを視覚情報と明示的に統合することができる。
ベンチマークデータセットで評価した場合の実験結果は有望である。
論文 参考訳（メタデータ） (2022-04-13T07:35:39Z) - Information Flow in Deep Neural Networks [0.6922389632860545]
ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。
深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。
この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
論文 参考訳（メタデータ） (2022-02-10T23:32:26Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Malicious Network Traffic Detection via Deep Learning: An Information
Theoretic View [0.0]
本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。
この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
論文 参考訳（メタデータ） (2020-09-16T15:37:44Z) - A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for
Question Answering Over Dynamic Contexts [81.4757750425247]
動的テキスト環境における質問応答について検討する。
構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
論文 参考訳（メタデータ） (2020-04-25T04:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。