論文の概要: Learning Visual Abstract Reasoning through Dual-Stream Networks

• arxiv url: http://arxiv.org/abs/2411.19451v1
• Date: Fri, 29 Nov 2024 03:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:56.489428
• Title: Learning Visual Abstract Reasoning through Dual-Stream Networks
• Title（参考訳）: デュアルストリームネットワークによる視覚的抽象推論の学習
• Authors: Kai Zhao, Chang Xu, Bailu Si,
• Abstract要約: 本稿では,Raven's Progressive Matrices (RPM) による課題に対処するニューラルネットワークモデルを提案する。 視覚処理の2ストリーム仮説に触発されて、Dual-stream Reasoning Network(DRNet)を導入する。 2つのストリームの上に、推論モジュールが最初に、同じ画像の高レベルな特徴をマージすることを学ぶ。
• 参考スコア（独自算出の注目度）: 17.821047249498058
• License:
• Abstract: Visual abstract reasoning tasks present challenges for deep neural networks, exposing limitations in their capabilities. In this work, we present a neural network model that addresses the challenges posed by Raven's Progressive Matrices (RPM). Inspired by the two-stream hypothesis of visual processing, we introduce the Dual-stream Reasoning Network (DRNet), which utilizes two parallel branches to capture image features. On top of the two streams, a reasoning module first learns to merge the high-level features of the same image. Then, it employs a rule extractor to handle combinations involving the eight context images and each candidate image, extracting discrete abstract rules and utilizing an multilayer perceptron (MLP) to make predictions. Empirical results demonstrate that the proposed DRNet achieves state-of-the-art average performance across multiple RPM benchmarks. Furthermore, DRNet demonstrates robust generalization capabilities, even extending to various out-of-distribution scenarios. The dual streams within DRNet serve distinct functions by addressing local or spatial information. They are then integrated into the reasoning module, leveraging abstract rules to facilitate the execution of visual reasoning tasks. These findings indicate that the dual-stream architecture could play a crucial role in visual abstract reasoning.
• Abstract（参考訳）: ビジュアル抽象推論タスクは、ディープニューラルネットワークの課題を示し、その能力の制限を明らかにする。 本稿では,Raven's Progressive Matrices (RPM) がもたらす課題に対処するニューラルネットワークモデルを提案する。 視覚処理の2ストリーム仮説にインスパイアされ、2つの並列分岐を用いて画像特徴をキャプチャするDual-stream Reasoning Network(DRNet)を導入する。 2つのストリームの上に、推論モジュールが最初に、同じ画像の高レベルな特徴をマージすることを学ぶ。 次に、8つのコンテキスト画像と各候補画像の組み合わせを処理するためにルール抽出器を使用し、個別の抽象ルールを抽出し、多層パーセプトロン(MLP)を用いて予測を行う。 実験の結果、DRNetは複数のRPMベンチマークで最先端の平均性能を達成している。 さらにDRNetは、様々なアウト・オブ・ディストリビューションシナリオにまで拡張する、堅牢な一般化機能を示している。 DRNet内のデュアルストリームは、ローカルまたは空間情報に対処することで、異なる機能を提供します。 それらは推論モジュールに統合され、抽象ルールを活用して視覚的推論タスクの実行を容易にする。 これらの結果から,両ストリームアーキテクチャは視覚的抽象的推論において重要な役割を果たす可能性が示唆された。

関連論文リスト

• UniRS: Unifying Multi-temporal Remote Sensing Tasks through Vision Language Models [23.044366104080822]
  textbfUniRSは視覚言語モデルとして最初のbftextremote bftextsensingタスクである。 UniRSはシングルイメージ、デュアルタイムイメージペア、ビデオを入力としてサポートし、総合的なリモートセンシング時間分析を可能にする。 実験の結果、UniRSは様々なタスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2024-12-30T06:34:18Z)
• ESDMR-Net: A Lightweight Network With Expand-Squeeze and Dual Multiscale Residual Connections for Medical Image Segmentation [7.921517156237902]
  本稿では,拡張型マルチスケール残差ネットワーク(ESDMR-Net)を提案する。 完全な畳み込みネットワークであり、モバイルデバイスのようなリソースに制約のあるコンピューティングハードウェアに適している。 5つの異なる応用例から7つのデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-12-17T02:15:49Z)
• Efficient Unsupervised Video Object Segmentation Network Based on Motion Guidance [1.5736899098702974]
  本稿では,モーションガイダンスに基づく映像オブジェクト分割ネットワークを提案する。 モデルは、デュアルストリームネットワーク、モーションガイダンスモジュール、マルチスケールプログレッシブフュージョンモジュールを含む。 実験により,提案手法の優れた性能が証明された。
  論文  参考訳（メタデータ） (2022-11-10T06:13:23Z)
• PSNet: Parallel Symmetric Network for Video Salient Object Detection [85.94443548452729]
  我々は,PSNet という名前のアップ・ダウン・パラレル対称性を持つ VSOD ネットワークを提案する。 2つの並列ブランチが、ビデオの完全サリエンシ復号化を実現するために設定されている。
  論文  参考訳（メタデータ） (2022-10-12T04:11:48Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)
• Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
  Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。 本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。 この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
  論文  参考訳（メタデータ） (2021-10-09T02:53:39Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)
• DualVGR: A Dual-Visual Graph Reasoning Unit for Video Question Answering [75.01757991135567]
  本稿では,動画をエンドツーエンドで処理するDual-Visual Graph Reasoning Unit (DualVGR)を提案する。 我々のDualVGRネットワークは、ベンチマークMSVD-QAおよびSVQAデータセット上で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2021-07-10T06:08:15Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。