Fugu-MT 論文翻訳(概要): S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights

論文の概要: S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights

arxiv url: http://arxiv.org/abs/2606.28444v1
Date: Fri, 26 Jun 2026 08:25:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.560392
Title: S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights
Title（参考訳）: S-GAI:S-GAI-Sigmoidal MLPの初期化 - データセット幾何学からネットワークウェイトまで
Abstract要約: S-GAI(S-GAI)は、一層型シグモダルのための分光幾何学的枠組みである。各クラスに対して、SVDは平均、主方向、スペクトルスケールを提供する。これらのクラス固有のゲートは、トレーニングセットから直接共有された隠蔽層を形成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Classical universal approximation theorems establish the expressive power of sigmoidal multilayer perceptrons, but they do not prescribe how initial weights should encode the geometry of a data distribution. We propose S-GAI, a spectral geometry-aware initialization framework for one-hidden-layer sigmoidal MLPs. Starting from the constructive idea that sigmoid units can act as smooth half-space gates, we move from hand-specified planar geometry to class-wise spectral geometry estimated from image data. For each class, SVD provides a mean, principal directions, and spectral scales. An energy threshold selects the retained directions, and each retained direction is represented by two sigmoid gates. These class-specific gates form a shared hidden layer initialized directly from the training set. We also formulate a SVD-based subspace classifier as a non-neural geometric reference, which tests whether the estimated spectral class geometry is already discriminative before being embedded into the MLP. Experiments on MNIST, Fashion-MNIST, and a more challenging CIFAR-10 test show that the S-GAI-initialized MLP starts from a substantially more informative hidden state than Xavier initialization and reaches comparable final accuracy under full training. When the hidden layer is frozen, training only the output layer still gives stronger performance than frozen random gates, providing evidence that S-GAI effectively embeds class-wise spectral geometry into the MLP.
Abstract（参考訳）: 古典的普遍近似定理はシグモノイド多層パーセプトロンの表現力を確立するが、初期重みがデータ分布の幾何学をエンコードする方法を定めていない。本研究では,S-GAIを提案する。S-GAIは一層型シグモダルMLPのスペクトル幾何対応初期化フレームワークである。シグモイド単位が滑らかな半空間ゲートとして機能するという構成的アイデアから始まり、手動で特定された平面幾何学から画像データから推定されるクラスワイドスペクトル幾何学へ移行する。各クラスに対して、SVDは平均、主方向、スペクトルスケールを提供する。エネルギー閾値は保持方向を選択し、各保持方向は2つのシグモノイドゲートで表される。これらのクラス固有のゲートは、トレーニングセットから直接初期化された共有隠蔽層を形成する。また、SVDに基づく部分空間分類器を非神経幾何学的基準として定式化し、推定されたスペクトルクラス幾何がMLPに埋め込まれる前に既に識別可能かどうかを検証した。 MNIST、Fashion-MNIST、およびより挑戦的なCIFAR-10の実験では、S-GAIで初期化されたMLPは、Xavierの初期化よりもかなり情報に富んだ隠れ状態から始まり、完全な訓練で最終的な精度に達することが示されている。隠れた層が凍結されると、出力層のみのトレーニングは、凍結したランダムゲートよりも強い性能を与え、S-GAIがMDPにクラスワイドのスペクトル幾何学を効果的に埋め込む証拠となる。

関連論文リスト

GeoGS-SLAM: Geometry-Only Gaussian Splatting for Dense Monocular SLAM [6.344587694040345]
既存の3DGSフレームワークは外観モデリングと幾何学モデリングの両方に焦点を当てている。本研究では,シーン形状を直接再構成するGeoGS(Geometry-only Gaussian Splatting)を提案する。 GeoGSは、プリミティブ単位のパラメータ数を80%以上削減するために、空間パラメータのみを保持する。
論文参考訳（メタデータ） (2026-07-08T14:22:05Z)
Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。 RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。 GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-05-25T01:33:19Z)
Let Geometry GUIDE: Layer-wise Unrolling of Geometric Priors in Multimodal LLMs [13.627465963609936]
GUIDE(Geometric Unrolling Inside MLLM Early-layers)は、プログレッシブな幾何学的事前注入フレームワークである。本研究では,現在の意味論に基づいて必要な空間的手がかりを抽出できる文脈認識ゲーティングを提案する。
論文参考訳（メタデータ） (2026-04-07T10:45:28Z)
Make Geometry Matter for Spatial Reasoning [62.61667611352403]
視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
論文参考訳（メタデータ） (2026-03-27T17:45:12Z)
GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
論文参考訳（メタデータ） (2026-03-17T12:43:48Z)
(MGS)$^2$-Net: Unifying Micro-Geometric Scale and Macro-Geometric Structure for Cross-View Geo-Localization [6.842471990535349]
CVGL(Cross-view geo-localization)は、UAVの航法において重要であるが、斜めの空中視と正方形衛星の視界との間には、急激な幾何学的不整合の下では不安定なままである。このギャップを埋める幾何学的基盤を持つフレームワークとして、MGS (2$) を提案する。実験の結果、(MGS)は2$の最先端のパフォーマンスを示し、Recall@1はUniversity-1652で97.5%、SUES-200で97.02%を記録した。
論文参考訳（メタデータ） (2026-02-11T10:03:31Z)
Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
論文参考訳（メタデータ） (2026-02-08T09:53:21Z)
Inverting Self-Organizing Maps: A Unified Activation-Based Framework [39.146761527401424]
我々は,SOMの活性化パターンを逆転させて,微妙な幾何学的条件下での正確な入力を復元できることを示す。我々は,MUSIC (Manifold-Aware Unified SOM Inversion and Control) 更新ルールを導入する。合成ガウス混合系, MNIST と Faces in the Wild を用いたアプローチを検証した。
論文参考訳（メタデータ） (2026-01-20T11:02:54Z)
GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。 GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
論文参考訳（メタデータ） (2025-12-10T13:07:27Z)
Sparse2DGS: Geometry-Prioritized Gaussian Splatting for Surface Reconstruction from Sparse Views [45.125032766506536]
完全かつ正確な再構成のためのMVS-d Gaussian Splatting PipelineであるSparse2DGSを提案する。我々の重要な洞察は、幾何学的優先順位付けされた拡張スキームを組み込むことであり、不適切な条件下での直接的かつ堅牢な幾何学的学習を可能にする。 Sparse2DGSは、NeRFベースの微調整方式よりも2倍の速さで既存の手法よりも優れています。
論文参考訳（メタデータ） (2025-04-29T02:47:02Z)
Self-supervised Geometric Perception [96.89966337518854]
自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
論文参考訳（メタデータ） (2021-03-04T15:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。