論文の概要: Effective Abstract Reasoning with Dual-Contrast Network
- arxiv url: http://arxiv.org/abs/2205.13720v1
- Date: Fri, 27 May 2022 02:26:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 12:19:46.210438
- Title: Effective Abstract Reasoning with Dual-Contrast Network
- Title（参考訳）: デュアルコントラストネットワークによる効果的な抽象推論
- Authors: Tao Zhuo and Mohan Kankanhalli
- Abstract要約: 我々はRavenのプログレッシブ行列(RPM)パズルをニューラルネットワークで解くことを目指している。
我々は、RPMパズルの固有構造を利用するために、単純で効果的なDual-Contrast Network(DCNet)を設計する。
RAVENとPGMデータセットの実験結果から、DCNetは最先端の手法を5.77%で上回る結果となった。
- 参考スコア（独自算出の注目度）: 10.675709291797535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a step towards improving the abstract reasoning capability of machines, we
aim to solve Raven's Progressive Matrices (RPM) with neural networks, since
solving RPM puzzles is highly correlated with human intelligence. Unlike
previous methods that use auxiliary annotations or assume hidden rules to
produce appropriate feature representation, we only use the ground truth answer
of each question for model learning, aiming for an intelligent agent to have a
strong learning capability with a small amount of supervision. Based on the RPM
problem formulation, the correct answer filled into the missing entry of the
third row/column has to best satisfy the same rules shared between the first
two rows/columns. Thus we design a simple yet effective Dual-Contrast Network
(DCNet) to exploit the inherent structure of RPM puzzles. Specifically, a rule
contrast module is designed to compare the latent rules between the filled
row/column and the first two rows/columns; a choice contrast module is designed
to increase the relative differences between candidate choices. Experimental
results on the RAVEN and PGM datasets show that DCNet outperforms the
state-of-the-art methods by a large margin of 5.77%. Further experiments on few
training samples and model generalization also show the effectiveness of DCNet.
Code is available at https://github.com/visiontao/dcnet.
- Abstract（参考訳）: 機械の抽象的推論能力を向上させるためのステップとして、rpmパズルの解法と人間の知性との相関が高いため、ラヴェンのプログレッシブ行列(rpm)をニューラルネットワークで解くことを目指している。
適切な特徴表現を生成するために、補助アノテーションや隠れたルールを仮定する従来の方法とは異なり、モデル学習には各質問の根拠真理の答えのみを使用し、知的エージェントが少量の監督で強力な学習能力を持つことを目標としている。
RPM問題の定式化に基づいて、第3行/カラムの欠落したエントリに満たされた正しい答えは、最初の2行/カラム間で共有される同じルールを最善に満たさなければならない。
そこで我々は、RPMパズルの固有構造を利用するために、単純で効果的なDual-Contrast Network(DCNet)を設計する。
具体的には、ルールコントラストモジュールは、満たされた行/列と最初の2行/列の潜在ルールを比較するように設計されており、選択コントラストモジュールは、候補選択間の相対的な差を増やすように設計されている。
RAVENとPGMデータセットの実験結果から、DCNetは最先端の手法を5.77%で上回る結果となった。
少数のトレーニングサンプルとモデル一般化に関するさらなる実験もDCNetの有効性を示している。
コードはhttps://github.com/visiontao/dcnetで入手できる。
関連論文リスト
- MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Sketching as a Tool for Understanding and Accelerating Self-attention
for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。
我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。
理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文 参考訳（メタデータ） (2021-12-10T06:58:05Z) - Unsupervised Abstract Reasoning for Raven's Problem Matrices [9.278113063631643]
Raven's Progressive Matrices (RPM) は人間の知能と非常に相関している。
本稿では,RPM問題の解法として,教師なし学習法を提案する。
我々の手法は教師付きアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-09-21T07:44:58Z) - Multi-Model Least Squares-Based Recomputation Framework for Large Data
Analysis [0.0]
ImageNetデータセットの処理などの複雑なタスクでは、直接エンコードできる手がかりが頻繁にあります。
これは、教師なし学習がまだ学んでいないヒントを学ぶために潜在空間表現を再訓練する動機となる。
本稿では,MP逆(RML-MP)を用いた再計算に基づく多層ネットワークを提案する。
論文 参考訳（メタデータ） (2021-01-04T23:01:30Z) - Multi-Label Contrastive Learning for Abstract Visual Reasoning [0.0]
Ravenのプログレッシブマトリクスを解く最先端のシステムは、大量のパターンベースのトレーニングとデータセットのバイアスを利用する。
人間は、解決すべきRPM(または一般的には視覚的推論タスク)の根底にあるルールや概念の識別に集中する。
本稿では,新しいトレーニングアルゴリズムに加えて,最先端性能に寄与する重要な要因であるRPMのスパースルール符号化方式を提案する。
論文 参考訳（メタデータ） (2020-12-03T14:18:15Z) - Stratified Rule-Aware Network for Abstract Visual Reasoning [46.015682319351676]
Raven's Progressive Matrices (RPM) テストは一般的に抽象的推論の能力を調べるために使用される。
畳み込みニューラルネットワーク(CNN)を利用した最近の研究は、RPMテストを達成するための奨励的な進歩を達成している。
本稿では,2つの入力シーケンスに対するルール埋め込みを生成するためのSRAN(Stratified Rule-Aware Network)を提案する。
論文 参考訳（メタデータ） (2020-02-17T08:44:05Z) - Solving Raven's Progressive Matrices with Neural Networks [10.675709291797535]
Raven's Progressive Matrices (RPM) は、人間のインテリジェンス・クオシエント・クオシエント(IQ)テストに広く用いられている。
本稿では,教師なしと教師なしの両方の方法でニューラルネットワークを用いてRPMを解くことを目的とする。
論文 参考訳（メタデータ） (2020-02-05T05:18:02Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。