論文の概要: Beyond Affine Transformations: A Soft Dominance Layer for Coordinate-Wise Neural Computation
- arxiv url: http://arxiv.org/abs/2610.00563v1
- Date: Wed, 30 Sep 2026 18:38:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.709259
- Title: Beyond Affine Transformations: A Soft Dominance Layer for Coordinate-Wise Neural Computation
- Title(参考訳): アフィン変換を超える: コーディネート・ワイズ・ニューラル・コンピューティングのためのソフト・ドミナンス・レイヤ
- Abstract要約: 本稿では,従来のニューラルネットワーク層を基盤としたアフィン変換の代替手法について予備的検討を行う。
提案したSoft Dominance Layerでは、各出力ユニットが入力座標と学習可能な参照ベクトルを比較し、スムーズな不等式応答を集約する。
目的は、このプリミティブのトレーニング可能性と直接的なしきい値解釈を調べることであり、アフィン層を置き換えることを主張するものではない。
- 参考スコア(独自算出の注目度): 1.624454100511275
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents a preliminary study of an alternative to the affine transformation underlying conventional neural-network layers. In the proposed Soft Dominance Layer, each output unit compares input coordinates with a learnable reference vector and aggregates smooth inequality responses. A sigmoid relaxation makes the comparisons differentiable, while a sharpness parameter $α$ controls their transition toward hard threshold decisions. The aim is to examine the trainability and direct threshold interpretation of this primitive, not to claim a replacement for affine layers. In single-run MNIST experiments, the highest observed Soft Dominance accuracy is $0.9061$ without annealing and $0.9173$ with annealing, compared with $0.9827$ for the MLP baseline. These descriptive results do not establish reliable configuration rankings or a statistically supported annealing benefit. Learned reference vectors exhibit spatial structure, providing qualitative evidence of structured learning. Repeated-seed experiments and broader datasets are required to assess robustness and practical relevance beyond this proof of concept.
- Abstract(参考訳): 本稿では,従来のニューラルネットワーク層を基盤としたアフィン変換の代替手法について予備的検討を行う。
提案したSoft Dominance Layerでは、各出力ユニットが入力座標と学習可能な参照ベクトルを比較し、スムーズな不等式応答を集約する。
シグモイド緩和は、比較を微分可能とし、シャープネスパラメータ$α$は、ハードしきい値決定への遷移を制御する。
目的は、このプリミティブのトレーニング可能性と直接的なしきい値解釈を調べることであり、アフィン層を置き換えることを主張するものではない。
単走MNIST実験では、最も高いSoft Dominance精度は、アニール無しで0.9061ドル、アニール付きで0.9173ドルであり、MLPベースラインでは0.9827ドルである。
これらの記述的な結果は、信頼性の高い構成ランキングや統計的に支持されたアニーリングの利点を確立しない。
学習された参照ベクトルは空間構造を示し、構造化学習の質的な証拠を提供する。
繰り返し行われた実験とより広範なデータセットは、この概念の証明以上の堅牢性と実践的関連性を評価するために必要である。
関連論文リスト
- LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency [16.73008463123115]
大規模言語モデル(LLM)評価プラットフォームは、ペアワイズな人間の判断にますます依存している。
対比較による低ランク潜在スコアの半パラメトリック推定法として検討した。
論文 参考訳(メタデータ) (2026-04-07T05:44:08Z) - Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity [42.048576085381065]
LMPQ(Layer-wise mixed-precision Quantization)は、極端な低ビット設定下での効率的な圧縮を可能にする。
数値的および構造的二重感性によって駆動される新しいキャリブレーションフリーLMPQフレームワークNSDSを提案する。
論文 参考訳(メタデータ) (2026-03-18T04:30:54Z) - Geometrically Constrained Outlier Synthesis [4.254099382808598]
画像分類のためのディープニューラルネットワークは、しばしばアウト・オブ・ディストリビューション(OOD)サンプルに過信を示す。
トレーニング時間正規化フレームワークであるGCOS(Geometrically Constrained Outlier Synthesis)を紹介する。
このフレームワークは自然に共形OOD推論に遷移し、不確かさのスコアを統計的に有効なp値に変換する。
論文 参考訳(メタデータ) (2026-03-09T14:11:47Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文 参考訳(メタデータ) (2024-09-24T07:57:21Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Greedy based Value Representation for Optimal Coordination in
Multi-agent Reinforcement Learning [64.05646120624287]
LVDとMVDの結合Q値関数を導出する。
最適な整合性を確保するために、最適なノードは独自のSTNである必要がある。
本手法は,様々なベンチマーク実験において,最先端のベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-22T08:14:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。