論文の概要: Sign Language Translation with Hierarchical Spatio-TemporalGraph Neural
Network
- arxiv url: http://arxiv.org/abs/2111.07258v1
- Date: Sun, 14 Nov 2021 07:02:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 09:40:58.723855
- Title: Sign Language Translation with Hierarchical Spatio-TemporalGraph Neural
Network
- Title(参考訳): 階層的時空間グラフニューラルネットワークによる手話翻訳
- Authors: Jichao Kan, Kun Hu, Markus Hagenbuchner, Ah Chung Tsoi, Mohammed
Bennamounm, Zhiyong Wang
- Abstract要約: 手話翻訳(SLT)は、手話の視覚的内容から音声言語のテキストを生成する。
本稿では,これらの手話の特徴を階層時間グラフ表現として定式化する。
階層型階層時間グラフニューラルネットワーク(HSTG-NN)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 6.623802929157273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sign language translation (SLT), which generates text in a spoken language
from visual content in a sign language, is important to assist the
hard-of-hearing community for their communications. Inspired by neural machine
translation (NMT), most existing SLT studies adopted a general sequence to
sequence learning strategy. However, SLT is significantly different from
general NMT tasks since sign languages convey messages through multiple
visual-manual aspects. Therefore, in this paper, these unique characteristics
of sign languages are formulated as hierarchical spatio-temporal graph
representations, including high-level and fine-level graphs of which a vertex
characterizes a specified body part and an edge represents their interactions.
Particularly, high-level graphs represent the patterns in the regions such as
hands and face, and fine-level graphs consider the joints of hands and
landmarks of facial regions. To learn these graph patterns, a novel deep
learning architecture, namely hierarchical spatio-temporal graph neural network
(HST-GNN), is proposed. Graph convolutions and graph self-attentions with
neighborhood context are proposed to characterize both the local and the global
graph properties. Experimental results on benchmark datasets demonstrated the
effectiveness of the proposed method.
- Abstract(参考訳): 手話翻訳(slt、英語: sign language translation)は、手話の視覚的な内容から音声言語でテキストを生成するもので、コミュニケーションの難聴者コミュニティを支援するために重要である。
ニューラルマシン翻訳(nmt)に触発され、既存のslt研究のほとんどはシーケンス学習戦略に一般的なシーケンスを採用した。
しかし、手話言語は複数の視覚的な側面を通してメッセージを伝達するため、sltは一般的なnmtタスクと大きく異なる。
そこで本研究では,これらの手話の特徴を階層的時空間グラフ表現として定式化し,頂点が特定の身体部分とエッジを特徴付ける高次グラフと細部グラフを含む。
特に、高レベルグラフは、手や顔などの領域のパターンを表し、細レベルグラフは、手と顔の領域のランドマークの関節を考慮する。
これらのグラフパターンを学習するために,階層型時空間グラフニューラルネットワーク(HST-GNN)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
局所グラフ特性とグローバルグラフ特性の両方を特徴付けるために、グラフ畳み込みと近傍コンテキストによるグラフ自己アテンションを提案する。
評価実験の結果,提案手法の有効性が示された。
関連論文リスト
- Message Detouring: A Simple Yet Effective Cycle Representation for
Expressive Graph Learning [4.085624738017079]
グラフ全体のサイクル表現を階層的に特徴付けるために,テキストデツーリングの概念を導入する。
メッセージのデツーリングは、さまざまなベンチマークデータセットにおいて、現在の競合するアプローチを大幅に上回る可能性がある。
論文 参考訳(メタデータ) (2024-02-12T22:06:37Z) - Improving Graph-Based Text Representations with Character and Word Level
N-grams [30.699644290131044]
単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。
また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
論文 参考訳(メタデータ) (2022-10-12T08:07:54Z) - Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。
グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。
近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
論文 参考訳(メタデータ) (2022-02-28T15:08:48Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳(メタデータ) (2020-09-19T09:26:20Z) - GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。
提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
論文 参考訳(メタデータ) (2020-09-14T02:52:45Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Graph-based Visual-Semantic Entanglement Network for Zero-shot Image
Recognition [17.622748458955595]
視覚特徴のグラフモデリングを行うためのグラフベースビジュアルセマンティックエンタングルメントネットワークを提案する。
提案手法は,複数の代表的ZSLデータセットに対する最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-06-08T14:54:08Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。