論文の概要: SVGraph: Learning Semantic Graphs from Instructional Videos

• arxiv url: http://arxiv.org/abs/2207.08001v1
• Date: Sat, 16 Jul 2022 19:17:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 16:38:29.534934
• Title: SVGraph: Learning Semantic Graphs from Instructional Videos
• Title（参考訳）: SVGraph: 教育ビデオから意味グラフを学ぶ
• Authors: Madeline C. Schiappa, Yogesh S. Rawat
• Abstract要約: 本稿では,グラフィカル表現のアノテーションを必要としない自己教師付き解釈可能な手法を提案する。 学習したグラフのセマンティック解釈性にナレーションを利用するマルチモーダルアプローチであるSVGraphを提案する。 複数のデータセットの実験を行い、セマンティックグラフ学習におけるSVGraphの解釈可能性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we focus on generating graphical representations of noisy, instructional videos for video understanding. We propose a self-supervised, interpretable approach that does not require any annotations for graphical representations, which would be expensive and time consuming to collect. We attempt to overcome "black box" learning limitations by presenting Semantic Video Graph or SVGraph, a multi-modal approach that utilizes narrations for semantic interpretability of the learned graphs. SVGraph 1) relies on the agreement between multiple modalities to learn a unified graphical structure with the help of cross-modal attention and 2) assigns semantic interpretation with the help of Semantic-Assignment, which captures the semantics from video narration. We perform experiments on multiple datasets and demonstrate the interpretability of SVGraph in semantic graph learning.
• Abstract（参考訳）: 本研究は,映像理解のための雑音・指導ビデオのグラフィカルな表現に焦点をあてる。 我々は,グラフ表現のアノテーションを必要としない自己教師あり,解釈可能な手法を提案する。 学習グラフの意味解釈にナレーションを利用するマルチモーダルアプローチであるセマンティックビデオグラフ(svgraph)を提示することで,「ブラックボックス」学習の限界を克服しようとする。 SVGraph 1)複数モーダル間の合意に依拠し、相互注意の助けを借りて統一的なグラフィカル構造を学ぶ。 2)ビデオナレーションから意味をキャプチャするセマンティックアサインメント(semantic-assignment)の助けを借りて意味解釈を割り当てる。 複数のデータセットの実験を行い、セマンティックグラフ学習におけるSVGraphの解釈可能性を示す。

関連論文リスト

• InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
  InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。 InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。 Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
  論文  参考訳（メタデータ） (2024-10-09T17:56:15Z)
• Exploring Graph Structure Comprehension Ability of Multimodal Large Language Models: Case Studies [7.067145619709089]
  本研究では,グラフの可視化が大規模言語モデル(LLM)の性能に与える影響について検討する。 本実験は,純粋テキストグラフ表現に対するマルチモーダルアプローチの有効性を比較した。
  論文  参考訳（メタデータ） (2024-09-13T14:26:58Z)
• From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models [81.92098140232638]
  シーングラフ生成(SGG)は、下流の推論タスクのための中間グラフ表現に視覚シーンを解析することを目的としている。 既存の手法は、新しい視覚的関係の概念を持つシーングラフを生成するのに苦労している。 シークエンス生成に基づく新しいオープン語彙SGGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:21:01Z)
• GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs [22.282756544376493]
  テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。 GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。 提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
  論文  参考訳（メタデータ） (2023-10-23T17:18:35Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Dual Space Graph Contrastive Learning [82.81372024482202]
  本研究では,新しいグラフコントラスト学習手法,すなわち textbfDual textbfSpace textbfGraph textbfContrastive (DSGC) Learningを提案する。 両空間にはグラフデータを埋め込み空間に表現する独自の利点があるので、グラフコントラスト学習を用いて空間をブリッジし、双方の利点を活用することを期待する。
  論文  参考訳（メタデータ） (2022-01-19T04:10:29Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• Multi-Level Graph Contrastive Learning [38.022118893733804]
  本稿では,グラフの空間ビューを対比することで,グラフデータの堅牢な表現を学習するためのマルチレベルグラフコントラスト学習(MLGCL)フレームワークを提案する。 元のグラフは1次近似構造であり、不確実性や誤りを含むが、符号化機能によって生成された$k$NNグラフは高次近接性を保持する。 MLGCLは、7つのデータセット上の既存の最先端グラフ表現学習法と比較して有望な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-07-06T14:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。