論文の概要: Graphical Models with Attention for Context-Specific Independence and an
Application to Perceptual Grouping
- arxiv url: http://arxiv.org/abs/2112.03371v1
- Date: Mon, 6 Dec 2021 21:52:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 06:29:50.800547
- Title: Graphical Models with Attention for Context-Specific Independence and an
Application to Perceptual Grouping
- Title（参考訳）: 文脈独立性を考慮した図形モデルと知覚的グループ化への応用
- Authors: Guangyao Zhou, Wolfgang Lehrach, Antoine Dedieu, Miguel
L\'azaro-Gredilla, Dileep George
- Abstract要約: 本稿では,注意機構を組み込んだ離散マルコフランダム場(MRF)のファミリーを提案する。
注意機構は、変数が他の変数を無視しながら動的に他の変数に出席することを可能にし、MDFにおけるCSIのキャプチャを可能にする。
最近提案された2つの合成知覚的グループ化タスクと現実画像を用いた実験は、サンプル効率、解釈可能性、一般化可能性におけるMAMの利点を実証している。
- 参考スコア（独自算出の注目度）: 7.889457839048292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete undirected graphical models, also known as Markov Random Fields
(MRFs), can flexibly encode probabilistic interactions of multiple variables,
and have enjoyed successful applications to a wide range of problems. However,
a well-known yet little studied limitation of discrete MRFs is that they cannot
capture context-specific independence (CSI). Existing methods require carefully
developed theories and purpose-built inference methods, which limit their
applications to only small-scale problems. In this paper, we propose the Markov
Attention Model (MAM), a family of discrete MRFs that incorporates an attention
mechanism. The attention mechanism allows variables to dynamically attend to
some other variables while ignoring the rest, and enables capturing of CSIs in
MRFs. A MAM is formulated as an MRF, allowing it to benefit from the rich set
of existing MRF inference methods and scale to large models and datasets. To
demonstrate MAM's capabilities to capture CSIs at scale, we apply MAMs to
capture an important type of CSI that is present in a symbolic approach to
recurrent computations in perceptual grouping. Experiments on two recently
proposed synthetic perceptual grouping tasks and on realistic images
demonstrate the advantages of MAMs in sample-efficiency, interpretability and
generalizability when compared with strong recurrent neural network baselines,
and validate MAM's capabilities to efficiently capture CSIs at scale.
- Abstract（参考訳）: 離散的無向グラフィカルモデルはマルコフ確率場(英語版)(mrfs)としても知られ、多変数の確率的相互作用を柔軟にエンコードすることができ、幅広い問題に応用できる。
しかし、離散的MRFの制限についてよく知られた研究はほとんど研究されていないのは、文脈特異的独立性(CSI)を捉えることができないことである。
既存の手法には慎重に開発された理論と目的を持った推論法が必要であり、その応用は小規模な問題に限られる。
本稿では,注意機構を組み込んだ個別MRF群であるMarkov Attention Model (MAM)を提案する。
注意機構は、変数が他の変数を無視しながら動的に他の変数に出席することを可能にし、MDFにおけるCSIのキャプチャを可能にする。
MAM は MRF として定式化されており、既存の MRF 推論手法の豊富なセットの恩恵を受け、大規模モデルやデータセットにスケールすることができる。
大規模にCSIを捕捉するMAMの能力を実証するために,知覚的グループ化における再帰的計算のシンボリックアプローチにおいて重要なCSIを捕捉するために,MAMを適用した。
最近提案された2つの合成知覚的グループ化タスクと現実画像による実験は、強力なリカレントニューラルネットワークベースラインと比較して、サンプル効率、解釈可能性、一般化性におけるMAMの利点を示し、大規模なCSIを効率的に捕捉するMAMの機能を検証する。
関連論文リスト
- Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳（メタデータ） (2023-10-06T10:40:46Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:37:52Z) - Understanding Masked Autoencoders via Hierarchical Latent Variable
Models [109.35382136147349]
Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。
MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
論文 参考訳（メタデータ） (2023-06-08T03:00:10Z) - Relational Neural Markov Random Fields [29.43155380361715]
複雑なハイブリッドドメインの処理が可能な Markov Random Fields (RN-MRFs) を導入する。
本稿では,潜在的なパラメータを学習する上で重要となる擬似的推定に基づく学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-18T22:52:54Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Ensemble manifold based regularized multi-modal graph convolutional
network for cognitive ability prediction [33.03449099154264]
マルチモーダル機能磁気共鳴イメージング(fMRI)を使用して、脳の接続ネットワークに基づいて個々の行動特性および認知特性を予測することができます。
本稿では,fMRI時系列と各脳領域間の機能接続(FC)を組み込んだ,解釈可能な多モードグラフ畳み込みネットワーク(MGCN)モデルを提案する。
我々は、フィラデルフィア神経開発コホート上のMGCNモデルを検証し、個々の広範囲達成テスト(WRAT)スコアを予測します。
論文 参考訳（メタデータ） (2021-01-20T20:53:07Z) - Statistical control for spatio-temporal MEG/EEG source imaging with
desparsified multi-task Lasso [102.84915019938413]
脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。
ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。
この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
論文 参考訳（メタデータ） (2020-09-29T21:17:16Z) - Uncertainty quantification for Markov Random Fields [1.52292571922932]
一般マルコフ確率場に対する情報に基づく不確実性定量化手法を提案する。
MRFは構造化され、非方向グラフ上の確率的グラフィカルモデルである。
医療診断および統計力学モデルのためのMDFにおいて,本手法を実証する。
論文 参考訳（メタデータ） (2020-08-31T18:07:24Z) - Meta-modal Information Flow: A Method for Capturing Multimodal Modular
Disconnectivity in Schizophrenia [11.100316178148994]
統合失調症(SZ)における解離と機能不全の仮説に対処するための多モードデータを活用する手法を提案する。
マルチモーダルデータセットを通して精神疾患に関連するリンクを特定するために,GGMに適用可能なモジュール性に基づく手法を提案する。
シミュレーションと実データにより,本手法は単一モダリティに焦点をあてて欠落する疾患関連ネットワーク破壊に関する重要な情報を明らかにする。
論文 参考訳（メタデータ） (2020-01-06T18:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。