論文の概要: Efficient Representation of Natural Image Patches
- arxiv url: http://arxiv.org/abs/2210.13004v2
- Date: Tue, 29 Aug 2023 08:35:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 19:07:53.695450
- Title: Efficient Representation of Natural Image Patches
- Title(参考訳): 自然画像パッチの効率的な表現
- Authors: Cheng Guo
- Abstract要約: 初期視覚システムの2つの目的 - 効率的な情報伝達とセンサ確率分布モデリング - を実現する方法を示す。
本稿では, 2 ピクセル (2D) システムとイメージパッチを用いて, 2 種類の生物可塑性損失関数によって駆動される非線形集団コードにより, 効率的な表現を実現することができることを示す。
- 参考スコア(独自算出の注目度): 1.2179089070956926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the complex domain of neural information processing, discerning
fundamental principles from ancillary details remains a significant challenge.
While there is extensive knowledge about the anatomy and physiology of the
early visual system, a comprehensive computational theory remains elusive. Can
we gain insights into the underlying principles of a biological system by
abstracting away from its detailed implementation and focusing on the
fundamental problems that the system is designed to solve? Utilizing an
abstract model based on minimal yet realistic assumptions, we show how to
achieve the early visual system's two ultimate objectives: efficient
information transmission and sensor probability distribution modeling. We show
that optimizing for information transmission does not yield optimal probability
distribution modeling. We illustrate, using a two-pixel (2D) system and image
patches, that an efficient representation can be realized via nonlinear
population code driven by two types of biologically plausible loss functions
that depend solely on output. After unsupervised learning, our abstract IPU
model bears remarkable resemblances to biological systems, despite not
mimicking many features of real neurons, such as spiking activity. A
preliminary comparison with a contemporary deep learning model suggests that
the IPU model offers a significant efficiency advantage. Our model provides
novel insights into the computational theory of early visual systems as well as
a potential new approach to enhance the efficiency of deep learning models.
- Abstract(参考訳): 神経情報処理の複雑な領域において、基本原理を補助的詳細から識別することは依然として重要な課題である。
初期の視覚系の解剖学と生理学には幅広い知識があるが、包括的な計算理論はいまだ解明されていない。
生物学的システムの根底にある原則について、詳細な実装を抽象化し、システムが解決するように設計されている根本的な問題に焦点を合わせることで、洞察を得られるだろうか?
最小かつ現実的な仮定に基づく抽象モデルを用いて,初期の視覚システムの2つの究極の目的である効率的な情報伝達とセンサ確率分布モデルを実現する方法を示す。
情報伝達の最適化は最適確率分布モデルにはならないことを示す。
2ピクセル (2d) システムとイメージパッチを用いて, 出力のみに依存する2種類の生物学的に妥当な損失関数を駆動する非線形集団コードを用いて, 効率的な表現を実現する。
非教師なし学習の後、我々の抽象IPUモデルはスパイキング活動のような実際のニューロンの多くの特徴を模倣していないにもかかわらず、生物学的システムと顕著に類似している。
現代のディープラーニングモデルとの予備的な比較は、IPUモデルが大きな効率性をもたらすことを示唆している。
我々のモデルは、初期の視覚系の計算理論に関する新しい洞察と、ディープラーニングモデルの効率を高めるための潜在的新しいアプローチを提供する。
関連論文リスト
- DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳(メタデータ) (2024-03-20T04:58:03Z) - Diffusion Models Trained with Large Data Are Transferable Visual Models [49.84679952948808]
そこで本研究では,適度な量の目標データを用いて,基本的な視覚知覚タスクにおいて顕著な伝達性能を実現することができることを示す。
結果は、様々なタスクや実世界のデータセットにまたがる拡散モデルのバックボーンの顕著な転送可能性を示している。
論文 参考訳(メタデータ) (2024-03-10T04:23:24Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - Distilling Knowledge from CNN-Transformer Models for Enhanced Human
Action Recognition [1.8722948221596285]
本研究の目的は、より大規模な教師モデルから知識を伝達することで、より小さな学生モデルの性能と効率を向上させることである。
提案手法では,生徒モデルとしてトランスフォーマー・ビジョン・ネットワークを使用し,教師モデルとして畳み込みネットワークが機能する。
Vision Transformer (ViT) アーキテクチャは、画像のグローバルな依存関係をキャプチャするための堅牢なフレームワークとして導入された。
論文 参考訳(メタデータ) (2023-11-02T14:57:58Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳(メタデータ) (2022-03-11T02:37:35Z) - Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。
ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。
本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
論文 参考訳(メタデータ) (2021-10-27T04:27:28Z) - Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot
Learning [21.89909688056478]
トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。
これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。
提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
論文 参考訳(メタデータ) (2020-07-15T15:34:09Z) - Prediction-Centric Learning of Independent Cascade Dynamics from Partial
Observations [13.680949377743392]
本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。
本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。
学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
論文 参考訳(メタデータ) (2020-07-13T17:58:21Z) - Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文 参考訳(メタデータ) (2020-06-16T15:07:25Z) - High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。
提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。
単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
論文 参考訳(メタデータ) (2020-01-13T14:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。