論文の概要: Two Routes to the Middle: Placement Search and Brain Readouts Converge on Where Continual Learners Should Specialize

• arxiv url: http://arxiv.org/abs/2610.01590v1
• Date: Thu, 01 Oct 2026 12:42:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.118215
• Title: Two Routes to the Middle: Placement Search and Brain Readouts Converge on Where Continual Learners Should Specialize
• Title（参考訳）: 中間への2つの道:連続学習者が専門とする場所の配置検索とブレイン・リードアウト
• Abstract要約: タスク固有のアダプタを各ブロックに保持する継続的な学習者は、タスク数と線形にストレージを蓄積する。 我々は、すべての連続した4ブロック配置をトレーニングし、逆Uが得られる: 最終精度は中間深さでピークし、最大3.5パーセンテージポイント (pp) まで変化する。 神経科学から、視覚野の階層構造と中間段階の可塑性は、学習者の外部で測定された測定値が、配置探索を伴わずに、レイヤーの特殊化を導くことができるかどうかを問う動機となる。
• 参考スコア（独自算出の注目度）: 17.914357772973087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learners that keep a task-specific adapter in every block of a pre-trained vision transformer accumulate storage linearly with the number of tasks; keeping task-specific adapters in only a few blocks curbs this growth but raises the question of where to place them. We investigate this question from two perspectives. Algorithmically, training all contiguous four-block placements yields an inverted U: final accuracy peaks at intermediate depth and varies by up to 3.5 percentage points (pp), while inexpensive criteria based on weight spectra or activation statistics favor the deepest blocks. From neuroscience, the hierarchical organization and intermediate-stage plasticity of the visual cortex motivate us to ask whether a measurement taken outside the learner can guide layer specialization without placement search. LS-B observes the first tasks through a frozen fMRI encoding model of twelve human visual areas and commits task-specific capacity once to the blocks whose readouts vary most across tasks relative to their stable structure. Across three ViT-B/16 backbones, LS-B yields stable, backbone-specific allocations. On the two backbones with placement search, AugReg and iBOT, the selected blocks overlap the intermediate-depth region identified by search. Under matched storage and observation budgets, the selected blocks outperform the shallowest and deepest four-block configurations. On Split ImageNet-R, LS-B uses 60% of full-BiLoRA adapter storage while remaining within 1.5 pp of its final accuracy. The allocation requires no labels or backpropagation, adds under 0.6% runtime, and exhibits backbone-specific cortical signatures.
• Abstract（参考訳）: タスク固有のアダプタを予め訓練された視覚変換器の各ブロックに保持する連続学習者は、タスク数に応じて線形にストレージを蓄積する。 この問題を2つの観点から検討する。 アルゴリズムでは、全ての連続した4ブロック配置をトレーニングすると逆Uが得られる: 最終的な精度は中間の深さでピークに達し、最大3.5パーセンテージポイント (pp) まで変化するが、重量スペクトルやアクティベーション統計に基づく安価な基準は最も深いブロックを好む。 神経科学から, 視覚野の階層構造と中間段階の可塑性は, 学習者の外部で測定した測定値が, 配置探索を伴わずに, 層の特殊化を導出できるかどうかを問う動機となる。 LS-Bは、人間の視覚領域12の凍結fMRI符号化モデルを用いて、最初のタスクを観察し、その安定な構造に対して、読み出しが最も異なるブロックに一度タスク固有の容量をコミットする。 3つのViT-B/16バックボーンにわたって、LS-Bは安定なバックボーン特異的アロケーションを生成する。 配置探索を行う2つのバックボーンであるAugRegとiBOTでは、選択されたブロックが検索によって識別された中間深度領域と重なる。 一致したストレージと観測予算の下では、選択されたブロックは最も浅く深い4ブロック構成よりも優れていた。 Split ImageNet-Rでは、LS-Bは完全なBiLoRAアダプタストレージの60%を使用し、最終的な精度は1.5pp以内である。 ラベルやバックプロパゲーションは不要で、0.6%未満のランタイムを追加し、バックボーン固有の皮質シグネチャを表示する。

関連論文リスト

• Block-Sparse Attention with Semantic-Geometric Decoupled Routing [37.66672644118402]
  本稿では,意味的アグリゲーションを事前のRoPE空間にシフトさせる学習自由ブロックルーティングフレームワークを提案し,オフラインな構造的先行および相対的ブロック距離で幾何学的バイアスを再構築する。 長文テキストとビデオタスクの実験では、4K--128Kコンテキストのフルアテンション精度にアプローチし、ルーティングオーバーヘッドを3.4ms以下に保ち、128Kコンテキスト長でFlashAttnを5.03$times$スピードアップすることを示した。
  論文  参考訳（メタデータ） (2026-09-19T08:38:12Z)
• Cut-ViT: Task-Specific Model Pruning via Gram Anchoring Subspace Consistency [71.81785123423516]
  そこで本稿では,視覚基盤モデルのプルーニングのためのタスク固有のプルーニングパイプラインであるCut-ViTを提案する。 基底非依存および残留制約は、ネイティブモデルとプルーニングされたDINOv3モデルのグラム部分空間を整列するために採用される。 実験によると、Cut-ViTは1つのA100 GPU上で1分程度必要であり、様々な範囲で作業を行うことができる。
  論文  参考訳（メタデータ） (2026-08-28T11:25:36Z)
• DCA-MoE: Spatially Adaptive Cross-Layer Fusion and Density-Routed Experts for Crowd Counting [3.6896352484416393]
  凍結したDINOv3エンコーダを保持しながら、両方の決定をコンテンツに依存させるフレームワークを提案する。 NWPU-Crowd検証分割では、DINOv3 ViT-L/16に基づく最強のペア構成が31.7 MAEと72.2 RMSEを得る。 クロスデータセットの結果は相変わらず混合しており、いくつかの成分基線は現在、1つの種子から独立に選択されたミニマを報告している。
  論文  参考訳（メタデータ） (2026-08-15T12:59:05Z)
• A Little Rank Goes a Long Way: Random Scaffolds with LoRA Adapters Are All You Need [6.398929702678775]
  LottaLoRAは、すべてのバックボーン重量をランダムに描画して凍結するトレーニングパラダイムであり、ローランクのLoRAアダプタのみがトレーニングされる。 9つのベンチマークで、さまざまなアーキテクチャファミリーが、完全にトレーニングされたパフォーマンスの96-100%を回復し、パラメータの0.5-40%しかトレーニングしていない。
  論文  参考訳（メタデータ） (2026-04-09T20:24:50Z)
• COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
  C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。 TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
  論文  参考訳（メタデータ） (2026-03-25T07:20:27Z)
• VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing [59.73939718087177]
  シングルエンコーダの視覚言語モデルは、統合ベクトル空間にインターリーブされた入力を埋め込むために対照的に訓練された。 VLM2GeoVecは、領域レベルの空間推論とスケーラブルな検索を統合し、リモートセンシングにおける凝集性多モード解析を可能にする。
  論文  参考訳（メタデータ） (2025-12-12T11:39:35Z)
• Active search and coverage using point-cloud reinforcement learning [50.741409008225766]
  本稿では,目的探索とカバレッジのためのエンドツーエンドの深層強化学習ソリューションを提案する。 RLの深い階層的特徴学習は有効であり、FPS(Fastthest Point sample)を用いることで点数を削減できることを示す。 また、ポイントクラウドに対するマルチヘッドの注意がエージェントの学習を高速化する上で有効であるが、同じ結果に収束することを示す。
  論文  参考訳（メタデータ） (2023-12-18T18:16:30Z)
• Accurate and lightweight dehazing via multi-receptive-field non-local network and novel contrastive regularization [22.00352317851905]
  ディープラーニングベースの手法は、画像のデハージング領域を支配している。 本稿では,MRFNLN(Multi-receptive-field non-local network)について述べる。
  論文  参考訳（メタデータ） (2023-09-28T14:59:16Z)
• BiCnet-TKS: Learning Efficient Spatial-Temporal Representation for Video Person Re-Identification [86.73532136686438]
  映像人物再識別(reID)のための効率的な時空間表現法を提案する。 空間相補性モデリングのための双方向相補性ネットワーク(BiCnet)を提案する。 BiCnet-TKSは、約50%の計算量で最先端の性能を発揮する。
  論文  参考訳（メタデータ） (2021-04-30T06:44:34Z)
• Batch Coherence-Driven Network for Part-aware Person Re-Identification [79.33809815035127]
  既存のパートアウェアの人物再識別方法は、通常、ボディ部分の検出と部分レベルの特徴抽出という2つのステップを使用する。 トレーニングフェーズとテストフェーズの両方で身体の一部をバイパスし,セマンティックに整合した機能を実現するNetworkBCDNetを提案する。
  論文  参考訳（メタデータ） (2020-09-21T09:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。