論文の概要: Focus of Attention Improves Information Transfer in Visual Features
- arxiv url: http://arxiv.org/abs/2006.09229v1
- Date: Tue, 16 Jun 2020 15:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 20:12:51.543272
- Title: Focus of Attention Improves Information Transfer in Visual Features
- Title（参考訳）: 注意の焦点は視覚機能における情報伝達を改善する
- Authors: Matteo Tiezzi, Stefano Melacci, Alessandro Betti, Marco Maggini, Marco
Gori
- Abstract要約: 本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
- 参考スコア（独自算出の注目度）: 80.22965663534556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised learning from continuous visual streams is a challenging problem
that cannot be naturally and efficiently managed in the classic batch-mode
setting of computation. The information stream must be carefully processed
accordingly to an appropriate spatio-temporal distribution of the visual data,
while most approaches of learning commonly assume uniform probability density.
In this paper we focus on unsupervised learning for transferring visual
information in a truly online setting by using a computational model that is
inspired to the principle of least action in physics. The maximization of the
mutual information is carried out by a temporal process which yields online
estimation of the entropy terms. The model, which is based on second-order
differential equations, maximizes the information transfer from the input to a
discrete space of symbols related to the visual features of the input, whose
computation is supported by hidden neurons. In order to better structure the
input probability distribution, we use a human-like focus of attention model
that, coherently with the information maximization model, is also based on
second-order differential equations. We provide experimental results to support
the theory by showing that the spatio-temporal filtering induced by the focus
of attention allows the system to globally transfer more information from the
input stream over the focused areas and, in some contexts, over the whole
frames with respect to the unfiltered case that yields uniform probability
distributions.
- Abstract（参考訳）: 連続的なビジュアルストリームからの教師なし学習は、従来のバッチモードの計算では自然に効率的に管理できない難しい問題である。
情報の流れは、視覚データの適切な時空間分布に応じて慎重に処理されなければならず、学習のほとんどのアプローチは一般に均一な確率密度を想定している。
本稿では,物理における最小作用原理に触発された計算モデルを用いて,真のオンライン環境における視覚情報伝達のための教師なし学習に着目する。
相互情報の最大化は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
2階微分方程式に基づくこのモデルは、入力から入力の視覚的特徴に関連する記号の離散空間への情報伝達を最大化し、その計算は隠れたニューロンによって支援される。
入力確率分布をよりよく構成するために、情報最大化モデルと一致して2階微分方程式にもとづく、人間のような注目モデルを用いる。
注意の焦点によって引き起こされる時空間的フィルタリングにより、集中領域にまたがって入力ストリームからより多くの情報をグローバルに転送し、ある文脈では、均一な確率分布をもたらすフィルタされていないケースに対して、フレーム全体にわたってより多くの情報を転送することができることを示す実験結果を提供する。
関連論文リスト
- Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - PiRD: Physics-informed Residual Diffusion for Flow Field Reconstruction [5.06136344261226]
データ忠実度向上のためのCNNベースの手法は、トレーニング期間中の低忠実度データパターンと分布に依存している。
提案したモデルである物理インフォームド残差拡散(Residual Diffusion)は、標準の低忠実度入力からデータの品質を高める能力を示す。
実験結果から, 2次元乱流に対して, 再学習を必要とせず, 高品質な流れを効果的に再現できることが示唆された。
論文 参考訳（メタデータ） (2024-04-12T11:45:51Z) - Gramian Angular Fields for leveraging pretrained computer vision models
with anomalous diffusion trajectories [0.9012198585960443]
拡散軌跡を扱うための新しいデータ駆動手法を提案する。
この方法はグラミアン角場(GAF)を用いて1次元軌跡を画像として符号化する。
我々は、ResNetとMobileNetという、よく訓練された2つのコンピュータビジョンモデルを利用して、基礎となる拡散体制を特徴づける。
論文 参考訳（メタデータ） (2023-09-02T17:22:45Z) - Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。
これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。
ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
論文 参考訳（メタデータ） (2023-07-19T11:32:24Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Variational Structured Attention Networks for Deep Visual Representation
Learning [49.80498066480928]
空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。
具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。
ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
論文 参考訳（メタデータ） (2021-03-05T07:37:24Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z) - Wave Propagation of Visual Stimuli in Focus of Attention [77.4747032928547]
周囲の視覚環境の変化に対する迅速な反応は、計算資源を視覚領域の最も関連する場所に再配置する効率的な注意機構を必要とする。
本研究は, 営巣動物が提示する有効性と効率性を示す, 生物学的に有望な注目焦点モデルを提案する。
論文 参考訳（メタデータ） (2020-06-19T09:33:21Z) - Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。
i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
論文 参考訳（メタデータ） (2020-05-18T16:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。