論文の概要: Region Seeding via Pre-Activation Regularization: A Geometric View from Piecewise Affine Nerual Networks

• arxiv url: http://arxiv.org/abs/2605.06300v1
• Date: Thu, 07 May 2026 14:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.874849
• Title: Region Seeding via Pre-Activation Regularization: A Geometric View from Piecewise Affine Nerual Networks
• Title（参考訳）: プレアクティベーション規則化による領域探索:Piecewise Affine Nerual Networksによる幾何学的視点
• Authors: Yi Wei, Xuan Qi, Furao Shen,
• Abstract要約: 実際には、標準トレーニングは、原則的にサポートできるアーキテクチャよりも、データビジットされた地区における領域の洗練をはるかに少なくする。 我々の理論は、ニューロンの切替面をデータポイントに十分近い状態にすることで、局所的な近傍との交点を確保するのに十分な条件を提供する。 本稿では,タスク駆動型リファインメントを訓練の後半に支配し,早期分割を助長するプラグイン・アンド・プレイ型レギュレータを提案する。
• 参考スコア（独自算出の注目度）: 12.476368894025233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep networks with continuous piecewise affine activations induce polyhedral partitions of the input space, making the number of realized affine regions a natural measure of expressive capacity and a key determinant of how well the model can approximate nonlinear target functions. In practice, standard training realizes far fewer region refinements in data-visited neighborhoods than the architecture could in principle support, while existing region-count theory is primarily architectural and offers little guidance on how optimization shapes the realized partition near the data. Our theory provides a sufficient condition under which bringing neuron switching surfaces sufficiently close to data points ensures their intersection with local neighborhoods, which in turn implies a strict increase in the local affine-region count, yielding a principled training-time handle for seeding data-relevant partitions early in optimization. Guided by these results, we propose a plug-and-play region-seeding regularizer that encourages early partitioning while allowing task-driven refinement to dominate later in training. Experiments show that the regularizer increases the number of realized affine regions via exact enumeration and improves overall performance on toy datasets, while also improving early-stage accuracy and achieving comparable (or slightly improved) final accuracy on ImageNet-1k for classical models.
• Abstract（参考訳）: 連続的なアフィン活性化を伴うディープネットワークは入力空間の多面的分割を誘導し、実現されたアフィン領域の数を表現能力の自然な尺度とし、モデルがいかに非線形ターゲット関数を近似できるかを決定づける。 実際には、従来の地域カウント理論は主にアーキテクチャであり、データ近傍で実現されたパーティションを最適化する方法についてはほとんどガイダンスを提供していない。 我々の理論は、ニューロンの切替面をデータポイントに十分近い状態にすることで、局所的なアフィン領域数の増加を確実にし、最適化の早い段階でデータ関連パーティションの種付けに原則化された訓練時間ハンドルを与えるという、十分な条件を提供する。 これらの結果から, 早期分割を促すとともに, タスク駆動の洗練が後発訓練において支配的になるような, プラグアンドプレイ型領域探索レギュレータを提案する。 実験により、レギュレータは正確な列挙によって実現されたアフィン領域の数を増やし、おもちゃのデータセットの全体的な性能を向上させるとともに、早期の精度を改善し、古典モデルのImageNet-1kに匹敵する(あるいはわずかに改善された)最終的な精度を達成する。

関連論文リスト

• Complexity of Linear Regions in Self-supervised Deep ReLU Networks [0.0]
  本研究では,自己監督学習(SSL)モデルによる線形領域の局所分布について検討する。 データ分布近傍の2次元ポリトープを抽出するためにSplineCamを用いる。 この研究は、2つの標準ベンチマークデータセットに対して教師付き、対照的な、自己蒸留法を比較する。
  論文  参考訳（メタデータ） (2026-04-27T12:21:25Z)
• Learning to Guide Local Search for MPE Inference in Probabilistic Graphical Models [7.287294240824019]
  確率的グラフィカルモデル(PGM)におけるほとんどの確率的説明(MPE)推論は、根本的なが計算的に難しい問題である。 本稿では、繰り返しクエリー方式における局所探索を改善するためのニューラルネットワークのアモート化フレームワークを提案する。 理論的な直観リンクによる距離低減移動選択を行い, 隣り合う選択時の約束を改良する。
  論文  参考訳（メタデータ） (2026-02-01T22:43:28Z)
• What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness [5.357435119431715]
  この論文は、異種環境における局所SGDの分析のための自己完結型ガイドに寄与する。 この論文はオンライン学習にも拡張され、ファーストオーダーとバンディットの両方のフィードバックの下で基本的な境界を提供する。
  論文  参考訳（メタデータ） (2025-06-30T19:06:02Z)
• Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction [80.67150791183126]
  事前訓練された視覚言語モデル(VLM)は、印象的なゼロショット認識能力を示したが、それでも高密度予測タスクでは性能が劣っている。 提案するDenseVLMは,非バイアスの領域言語アライメントを,強力な事前学習型VLM表現から学習するためのフレームワークである。 DenseVLMは、オープン語彙オブジェクト検出および画像分割法において、元のVLMを直接置き換えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-09T06:34:23Z)
• Semantic Segmentation by Early Region Proxy [53.594035639400616]
  本稿では,学習可能な領域のテッセルレーションとしてイメージを解釈することから始まる,新規で効率的なモデリングについて述べる。 領域のコンテキストをモデル化するために,Transformerを用いてシーケンス・ツー・シーケンス方式で領域を符号化する。 現在、符号化された領域埋め込みの上に、領域ごとのセマンティックセグメンテーションを行う。
  論文  参考訳（メタデータ） (2022-03-26T10:48:32Z)
• Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
  本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。 提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。 領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
  論文  参考訳（メタデータ） (2022-02-09T18:56:41Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Sign-Agnostic CONet: Learning Implicit Surface Reconstructions by Sign-Agnostic Optimization of Convolutional Occupancy Networks [39.65056638604885]
  畳み込み型ネットワークの符号非依存最適化により暗黙的表面再構成を学習する。 この目標をシンプルで効果的な設計で効果的に達成できることを示す。
  論文  参考訳（メタデータ） (2021-05-08T03:35:32Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。