論文の概要: Graph-based Heuristic Search for Module Selection Procedure in Neural
Module Network
- arxiv url: http://arxiv.org/abs/2009.14759v1
- Date: Wed, 30 Sep 2020 15:55:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 23:45:25.547466
- Title: Graph-based Heuristic Search for Module Selection Procedure in Neural
Module Network
- Title(参考訳): ニューラルネットワークにおけるモジュール選択手順のグラフベースヒューリスティック探索
- Authors: Yuxuan Wu and Hideki Nakayama
- Abstract要約: グラフに基づくヒューリスティック検索は,プログラムグラフと呼ばれるデータ構造を探索することで最適なプログラムを発見するアルゴリズムである。
本研究では,FQA と CLEVR のデータセットを用いて,NMN のトレーニングを基礎となるプログラムなしで行うことができることを示す。
- 参考スコア(独自算出の注目度): 25.418899358703378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Module Network (NMN) is a machine learning model for solving the
visual question answering tasks. NMN uses programs to encode modules'
structures, and its modularized architecture enables it to solve logical
problems more reasonably. However, because of the non-differentiable procedure
of module selection, NMN is hard to be trained end-to-end. To overcome this
problem, existing work either included ground-truth program into training data
or applied reinforcement learning to explore the program. However, both of
these methods still have weaknesses. In consideration of this, we proposed a
new learning framework for NMN. Graph-based Heuristic Search is the algorithm
we proposed to discover the optimal program through a heuristic search on the
data structure named Program Graph. Our experiments on FigureQA and CLEVR
dataset show that our methods can realize the training of NMN without
ground-truth programs and achieve superior efficiency over existing
reinforcement learning methods in program exploration.
- Abstract(参考訳): Neural Module Network(NMN)は、視覚的質問応答タスクを解決する機械学習モデルである。
NMNはモジュールの構造をエンコードするためにプログラムを使用し、モジュール化されたアーキテクチャにより論理的な問題をより合理的に解くことができる。
しかし、モジュール選択の非微分不可能な手順のため、NMNはエンドツーエンドで訓練することは困難である。
この問題を克服するため、既存の研究には、トレーニングデータに地中修練プログラムを組み込んだり、プログラムの探索に強化学習を適用したりした。
しかし、どちらの方法にも弱点がある。
そこで我々は,NMNのための新しい学習フレームワークを提案する。
グラフに基づくヒューリスティック探索は,プログラムグラフと呼ばれるデータ構造のヒューリスティック探索を通じて最適なプログラムを探索するアルゴリズムである。
図qaとclevrデータセットを用いた実験により,本手法は基礎プログラムを使わずにnmnのトレーニングを実現でき,既存の強化学習手法よりも優れたプログラム探索が可能となった。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Multimodal Representations for Teacher-Guided Compositional Visual
Reasoning [0.0]
NMNは統合モデルと比較して説明性の向上を提供する。
本稿では,大規模なクロスモーダルエンコーダによって得られた特徴を活用することを提案する。
スケジュールされた教師指導を含むNMN学習戦略を導入する。
論文 参考訳(メタデータ) (2023-10-24T07:51:08Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Decouple Graph Neural Networks: Train Multiple Simple GNNs
Simultaneously Instead of One [82.91940450061445]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。
我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。
提案するフレームワークは,合理的な性能で高い効率性を示す。
論文 参考訳(メタデータ) (2023-04-20T07:21:32Z) - Low-Resource Music Genre Classification with Cross-Modal Neural Model
Reprogramming [129.4950757742912]
ニューラルモデル再プログラミング(NMR)の概念に基づく低リソース(音楽)分類のための事前学習モデルを活用する新しい手法を提案する。
NMRは、凍結した事前学習モデルの入力を変更することにより、ソースドメインからターゲットドメインへの事前学習モデルの再取得を目指している。
実験結果から,大規模データセットに事前学習したニューラルモデルは,この再プログラミング手法を用いて,音楽ジャンルの分類に成功できることが示唆された。
論文 参考訳(メタデータ) (2022-11-02T17:38:33Z) - A Differentiable Approach to Combinatorial Optimization using Dataless
Neural Networks [20.170140039052455]
我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。
特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
論文 参考訳(メタデータ) (2022-03-15T19:21:31Z) - Self Semi Supervised Neural Architecture Search for Semantic
Segmentation [6.488575826304023]
セグメンテーションの課題に対する自己監督と半教師付き学習に基づくニューラルアーキテクチャ検索戦略を提案する。
このアプローチは、このタスクに最適化されたニューラルネットワークモデルを構築します。
CityscapesとPASCAL VOC 2012データセットの実験では、発見されたニューラルネットワークは最先端の手作りNNモデルよりも効率的であることが示されている。
論文 参考訳(メタデータ) (2022-01-29T19:49:44Z) - Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。
本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文 参考訳(メタデータ) (2020-10-23T19:12:30Z) - Beyond Graph Neural Networks with Lifted Relational Neural Networks [14.63152363481139]
我々は,Lfted Neural Networks の言語に基づく宣言型微分可能プログラミングフレームワークを実演する。
小さなパラメータ化プログラムは学習を符号化するために使用される。
このアイデアは、様々な高度なニューラルネットワークの効率的な符号化にどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-07-13T10:10:58Z) - Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。
ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
論文 参考訳(メタデータ) (2020-07-07T17:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。