論文の概要: Sign Language Translation with Hierarchical Spatio-TemporalGraph Neural Network

• arxiv url: http://arxiv.org/abs/2111.07258v1
• Date: Sun, 14 Nov 2021 07:02:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 09:40:58.723855
• Title: Sign Language Translation with Hierarchical Spatio-TemporalGraph Neural Network
• Title（参考訳）: 階層的時空間グラフニューラルネットワークによる手話翻訳
• Authors: Jichao Kan, Kun Hu, Markus Hagenbuchner, Ah Chung Tsoi, Mohammed Bennamounm, Zhiyong Wang
• Abstract要約: 手話翻訳(SLT)は、手話の視覚的内容から音声言語のテキストを生成する。 本稿では,これらの手話の特徴を階層時間グラフ表現として定式化する。 階層型階層時間グラフニューラルネットワーク(HSTG-NN)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 6.623802929157273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language translation (SLT), which generates text in a spoken language from visual content in a sign language, is important to assist the hard-of-hearing community for their communications. Inspired by neural machine translation (NMT), most existing SLT studies adopted a general sequence to sequence learning strategy. However, SLT is significantly different from general NMT tasks since sign languages convey messages through multiple visual-manual aspects. Therefore, in this paper, these unique characteristics of sign languages are formulated as hierarchical spatio-temporal graph representations, including high-level and fine-level graphs of which a vertex characterizes a specified body part and an edge represents their interactions. Particularly, high-level graphs represent the patterns in the regions such as hands and face, and fine-level graphs consider the joints of hands and landmarks of facial regions. To learn these graph patterns, a novel deep learning architecture, namely hierarchical spatio-temporal graph neural network (HST-GNN), is proposed. Graph convolutions and graph self-attentions with neighborhood context are proposed to characterize both the local and the global graph properties. Experimental results on benchmark datasets demonstrated the effectiveness of the proposed method.
• Abstract（参考訳）: 手話翻訳(slt、英語: sign language translation)は、手話の視覚的な内容から音声言語でテキストを生成するもので、コミュニケーションの難聴者コミュニティを支援するために重要である。 ニューラルマシン翻訳(nmt)に触発され、既存のslt研究のほとんどはシーケンス学習戦略に一般的なシーケンスを採用した。 しかし、手話言語は複数の視覚的な側面を通してメッセージを伝達するため、sltは一般的なnmtタスクと大きく異なる。 そこで本研究では,これらの手話の特徴を階層的時空間グラフ表現として定式化し,頂点が特定の身体部分とエッジを特徴付ける高次グラフと細部グラフを含む。 特に、高レベルグラフは、手や顔などの領域のパターンを表し、細レベルグラフは、手と顔の領域のランドマークの関節を考慮する。 これらのグラフパターンを学習するために,階層型時空間グラフニューラルネットワーク(HST-GNN)と呼ばれる新しいディープラーニングアーキテクチャを提案する。 局所グラフ特性とグローバルグラフ特性の両方を特徴付けるために、グラフ畳み込みと近傍コンテキストによるグラフ自己アテンションを提案する。 評価実験の結果,提案手法の有効性が示された。

関連論文リスト

• HIGHT: Hierarchical Graph Tokenization for Graph-Language Alignment [41.75926736949724]
  我々は,大規模言語モデル(LLM)のグラフ認識を改善するために,階層型GrapHトークン化(HIGHT)と呼ばれる新しい戦略を提案する。 HighTは階層的なグラフトークン化器を用いて、LLMのグラフ認識を改善するために、ノード、モチーフ、およびグラフレベルの情報トークンを抽出し、エンコードする。 7つの分子中心のベンチマークによる実験では、幻覚を40%減らすためのHighTの有効性が確認され、また、様々な分子言語による下流タスクの大幅な改善も確認された。
  論文  参考訳（メタデータ） (2024-06-20T06:37:35Z)
• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Message Detouring: A Simple Yet Effective Cycle Representation for Expressive Graph Learning [4.085624738017079]
  グラフ全体のサイクル表現を階層的に特徴付けるために,テキストデツーリングの概念を導入する。 メッセージのデツーリングは、さまざまなベンチマークデータセットにおいて、現在の競合するアプローチを大幅に上回る可能性がある。
  論文  参考訳（メタデータ） (2024-02-12T22:06:37Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
  画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。 提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-09-14T02:52:45Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。