論文の概要: Graph-based Heuristic Search for Module Selection Procedure in Neural Module Network

• arxiv url: http://arxiv.org/abs/2009.14759v1
• Date: Wed, 30 Sep 2020 15:55:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 23:45:25.547466
• Title: Graph-based Heuristic Search for Module Selection Procedure in Neural Module Network
• Title（参考訳）: ニューラルネットワークにおけるモジュール選択手順のグラフベースヒューリスティック探索
• Authors: Yuxuan Wu and Hideki Nakayama
• Abstract要約: グラフに基づくヒューリスティック検索は,プログラムグラフと呼ばれるデータ構造を探索することで最適なプログラムを発見するアルゴリズムである。 本研究では,FQA と CLEVR のデータセットを用いて,NMN のトレーニングを基礎となるプログラムなしで行うことができることを示す。
• 参考スコア（独自算出の注目度）: 25.418899358703378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Module Network (NMN) is a machine learning model for solving the visual question answering tasks. NMN uses programs to encode modules' structures, and its modularized architecture enables it to solve logical problems more reasonably. However, because of the non-differentiable procedure of module selection, NMN is hard to be trained end-to-end. To overcome this problem, existing work either included ground-truth program into training data or applied reinforcement learning to explore the program. However, both of these methods still have weaknesses. In consideration of this, we proposed a new learning framework for NMN. Graph-based Heuristic Search is the algorithm we proposed to discover the optimal program through a heuristic search on the data structure named Program Graph. Our experiments on FigureQA and CLEVR dataset show that our methods can realize the training of NMN without ground-truth programs and achieve superior efficiency over existing reinforcement learning methods in program exploration.
• Abstract（参考訳）: Neural Module Network(NMN)は、視覚的質問応答タスクを解決する機械学習モデルである。 NMNはモジュールの構造をエンコードするためにプログラムを使用し、モジュール化されたアーキテクチャにより論理的な問題をより合理的に解くことができる。 しかし、モジュール選択の非微分不可能な手順のため、NMNはエンドツーエンドで訓練することは困難である。 この問題を克服するため、既存の研究には、トレーニングデータに地中修練プログラムを組み込んだり、プログラムの探索に強化学習を適用したりした。 しかし、どちらの方法にも弱点がある。 そこで我々は,NMNのための新しい学習フレームワークを提案する。 グラフに基づくヒューリスティック探索は,プログラムグラフと呼ばれるデータ構造のヒューリスティック探索を通じて最適なプログラムを探索するアルゴリズムである。 図qaとclevrデータセットを用いた実験により,本手法は基礎プログラムを使わずにnmnのトレーニングを実現でき,既存の強化学習手法よりも優れたプログラム探索が可能となった。

関連論文リスト

• Searching Latent Program Spaces [0.0]
  本研究では,連続空間における潜伏プログラム上の分布を学習し,効率的な探索とテスト時間適応を可能にするプログラム誘導アルゴリズムを提案する。 テスト時間適応機構を利用して、トレーニング分布を超えて一般化し、目に見えないタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T15:50:32Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Multimodal Representations for Teacher-Guided Compositional Visual Reasoning [0.0]
  NMNは統合モデルと比較して説明性の向上を提供する。 本稿では,大規模なクロスモーダルエンコーダによって得られた特徴を活用することを提案する。 スケジュールされた教師指導を含むNMN学習戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-24T07:51:08Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• A Differentiable Approach to Combinatorial Optimization using Dataless Neural Networks [20.170140039052455]
  我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。 特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
  論文  参考訳（メタデータ） (2022-03-15T19:21:31Z)
• Self Semi Supervised Neural Architecture Search for Semantic Segmentation [6.488575826304023]
  セグメンテーションの課題に対する自己監督と半教師付き学習に基づくニューラルアーキテクチャ検索戦略を提案する。 このアプローチは、このタスクに最適化されたニューラルネットワークモデルを構築します。 CityscapesとPASCAL VOC 2012データセットの実験では、発見されたニューラルネットワークは最先端の手作りNNモデルよりも効率的であることが示されている。
  論文  参考訳（メタデータ） (2022-01-29T19:49:44Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。