論文の概要: VisionHOPE: Visual Backbones as Self-Modifying Learning Systems

• arxiv url: http://arxiv.org/abs/2609.33325v1
• Date: Sun, 27 Sep 2026 07:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:08:01.071982
• Title: VisionHOPE: Visual Backbones as Self-Modifying Learning Systems
• Title（参考訳）: VisionHOPE: 自己修正学習システムとしてのビジュアルバックボーン
• Abstract要約: 自己修正学習システムとして定式化された最初の汎用視覚バックボーンであるVisionHOPEを紹介する。 VisionHOPEは、コンテンツを格納し、キーと値の表現を生成し、学習率と保持を統制する5つの結合記憶を通じて、この共進化を実現する。 提案したVisionHOPEは、ImageNet-1K、COCO、ADE20Kの競合する結果を達成し、汎用視覚バックボーンの実践的基盤として自己修正学習システムを確立する。
• 参考スコア（独自算出の注目度）: 28.630500017078287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual backbones have evolved from Convolutional Neural Networks (CNNs) with local aggregation to Vision Transformers (ViTs) with global interactions, State-Space Models (SSMs) with input-dependent state transitions, and Test-Time Training (TTT) layers that adapt an inner learner while processing an image. Across this progression, visual computation has become increasingly adaptive to each input, yet the rules governing that adaptation remain largely prescribed by the trained backbone. We introduce VisionHOPE, the first generic visual backbone formulated as a self-modifying learning system, in which what the model remembers and how it learns co-evolve within an image. Building on the self-referential construction of Nested Learning (NL), VisionHOPE realizes this co-evolution through five coupled memories that store content, generate key and value representations, and govern learning rate and retention. These memories evolve jointly as visual context accumulates along each scan. However, directly applying the unconstrained self-referential update to a visual backbone leads to instability. We therefore derive a stability-matched step-size control scheme that combines a soft cap on self-referential injection with a spectral clamp on the retained memory transition, and prove that the resulting memory dynamics are non-expansive along each scan. For two-dimensional feature maps, we adapt NL's chunk formulation by aligning chunks with image rows and columns across four directional scans. The proposed VisionHOPE achieves competitive results on ImageNet-1K, COCO, and ADE20K, establishing self-modifying learning systems as a practical foundation for general-purpose visual backbones. The code is available at https://github.com/PSRben/VisionHOPE.
• Abstract（参考訳）: ビジュアルバックボーンは、ローカルアグリゲーションを備えた畳み込みニューラルネットワーク(CNN)から、グローバルインタラクションを備えたビジョントランスフォーマー(ViT)、入力依存状態遷移を持つステートスペースモデル(SSM)、イメージ処理中に内部学習者を適用するテストタイムトレーニング(TTT)レイヤへと進化した。 この進歩の中で、視覚的計算は各入力に適応しやすくなっているが、適応を規定する規則は、トレーニングされたバックボーンによって大きく規定されている。 自己修正学習システムとして構築された最初の一般的な視覚バックボーンであるVisionHOPEを導入し、モデルが記憶するものと、画像内でどのように共進化するかを学習する。 ネステッドラーニング(NL)の自己参照構築に基づいて、VisionHOPEは、コンテンツを格納し、キーと値の表現を生成し、学習率と保持を統制する5つの結合記憶を通して、この共進化を実現する。 これらの記憶は、各スキャンに沿って視覚的コンテキストが蓄積されるにつれて、共同で進化する。 しかし、制約のない自己参照更新を視覚バックボーンに直接適用すると不安定になる。 そこで我々は, 自己参照注入時のソフトキャップと保持メモリ遷移時のスペクトルクランプとを結合した, 安定性に整合したステップサイズ制御方式を導出し, それぞれのスキャンで得られたメモリダイナミクスが拡張不能であることを証明した。 2次元特徴写像では, チャンクと画像列, カラムを4方向スキャンで整列することで, NLのチャンク定式化を適用する。 提案したVisionHOPEは、ImageNet-1K、COCO、ADE20Kの競合する結果を達成し、汎用視覚バックボーンの実践的基盤として自己修正学習システムを確立する。 コードはhttps://github.com/PSRben/VisionHOPEで公開されている。

関連論文リスト

• Visual Pre-Training on Unlabeled Images using Reinforcement Learning [62.66487459225838]
  強化学習(RL)において、価値に基づくアルゴリズムは、それぞれの観察と状態とそれから到達しそうな報酬を関連付けることを学習する。 この定式化に類似した自己教師付き画像事前学習法が多数存在することが観察された。 RL問題として,Webクロールやビデオフレームなどのラベル付けされていない画像データに事前学習を直接キャストする手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T17:25:27Z)
• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 私たちのゴールは、ローカルとグローバルの両方の画像セマンティクスを効果的にキャプチャするビジョンバックボーンでこれを解決することです。 局所性アライメントとMaskEmbedと呼ばれる新しい微調整手順を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• How Do the Architecture and Optimizer Affect Representation Learning? On the Training Dynamics of Representations in Deep Neural Networks [1.573034584191491]
  トレーニング中に深層ニューラルネットワーク(DNN)の表現がどのように進化するかを明らかにする。 学習過程全体に沿った学習表現の進化について検討する。
  論文  参考訳（メタデータ） (2024-05-27T17:33:03Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• Vision Transformer for Contrastive Clustering [48.476602271481674]
  Vision Transformer(ViT)は、畳み込みニューラルネットワーク(CNN)に対してその優位性を示している。 本稿では、VTCC(Vision Transformer for Contrastive Clustering)と呼ばれるエンドツーエンドのディープ・クラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-26T17:00:35Z)
• Visualizing and Understanding Contrastive Learning [22.553990823550784]
  一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。 また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
  論文  参考訳（メタデータ） (2022-06-20T13:01:46Z)
• Comparative evaluation of CNN architectures for Image Caption Generation [1.2183405753834562]
  2つの人気のある画像キャプチャ生成フレームワークで17種類の畳み込みニューラルネットワークを評価した。 我々は、畳み込みニューラルネットワークのモデルの複雑さをパラメータ数で測定し、オブジェクト認識タスクにおけるモデルの精度は、必ずしも画像キャプション生成タスクの機能抽出に対する効果と相関するとは限らないことを観察する。
  論文  参考訳（メタデータ） (2021-02-23T05:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。