論文の概要: Task-Relevant Null-Space Residuals for Non-Injective Neural Mappings

• arxiv url: http://arxiv.org/abs/2609.37272v1
• Date: Tue, 29 Sep 2026 11:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.438511
• Title: Task-Relevant Null-Space Residuals for Non-Injective Neural Mappings
• Title（参考訳）: 非射影型ニューラルマッピングのためのタスク関連Null空間残量
• Abstract要約: ニューラルネットワークにおける非射影写像は、異なる入力を同じ表現にマッピングし、入力空間における同値関係を誘導する。 現在の前方通過で実現された非射影線型作用素に対して、それらのヌル空間はこれらの目に見えない入力のバリエーションを正確に特徴づける。 非射影線形写像のための一般的な残留フレームワークであるタスク関連ヌル空間残差(NSR)を提案する。
• 参考スコア（独自算出の注目度）: 13.870126338533348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-injective mappings in neural networks map distinct inputs to the same representation, thereby implicitly inducing equivalence relations in the input space. However, the input differences eliminated by these mappings may still be required by downstream tasks, creating a mismatch between operator-induced indistinguishability and task-required distinctions. For non-injective linear operators realized in the current forward pass, their null spaces exactly characterize these invisible input variations. We propose Task-Relevant Null-Space Residuals (NSR), a general residual framework for non-injective linear mappings. NSR combines null-space component extraction from pre-mapping representations, member-level encoding and gating, and application-specific integration to exploit potentially task-relevant information under downstream supervision while preserving the original aggregation or merging rules. We evaluate NSR in two structurally different settings: token merging and graph aggregation. In token merging, NSR achieves higher semantic segmentation performance than the corresponding compressed baselines in 34 out of 36 evaluated configurations, with a maximum observed gain of 31.51 mIoU points under strong compression. In graph aggregation, NSR achieves 100% training accuracy on Tree-NeighborsMatch at depths d=2--6 across three backbones, alongside gains on heterophilic node classification and molecular graph regression. Together, these results support null-space residuals as a practical complement to non-injective linear mappings, enabling downstream models to learn from input distinctions invisible in the original operator's output.
• Abstract（参考訳）: ニューラルネットワークにおける非射影写像は、異なる入力を同じ表現にマッピングすることで、入力空間における同値関係を暗黙的に誘導する。 しかし、これらのマッピングによって取り除かれた入力差は、下流のタスクによっても必要であり、演算子による区別不能とタスク要求の区別のミスマッチを生成する。 現在の前方通過で実現された非射影線型作用素に対して、それらのヌル空間はこれらの目に見えない入力のバリエーションを正確に特徴づける。 非射影線形写像のための一般的な残留フレームワークであるタスク関連ヌル空間残差(NSR)を提案する。 NSRは、プレマッピング表現、メンバレベルのエンコーディングとゲーティングからのヌルスペースコンポーネントの抽出と、アプリケーション固有の統合を組み合わせて、元のアグリゲーションやマージルールを維持しながら、下流の監視下で潜在的にタスク関連情報を活用する。 我々はNSRをトークンマージとグラフアグリゲーションという2つの構造的に異なる設定で評価する。 トークンマージにおいて、NSRは36の評価構成のうち34の圧縮ベースラインよりも高いセマンティックセグメンテーション性能を達成する。 グラフアグリゲーションにおいて、NSRは3つのバックボーンにまたがる深さd=2--6のツリー・ニーバー・マッチのトレーニング精度を100%達成し、ヘテロ親水性ノードの分類と分子グラフの回帰に寄与する。 これらの結果は、非射影線型写像の実践的な補完としてヌル空間残差をサポートし、下流モデルが元の演算子の出力から見えない入力区別から学習できるようにする。

関連論文リスト

• Symbolic Regression via Latent Iterative Refinement [8.016092717336457]
  単発予測と真の後部とのギャップを埋めるフレームワークであるLatent Equation Embedding (LEE)を提案する。 LEEは、3つのコンポーネントを備えた共有潜在空間Zを学習する。 LEEは、最強の精度指向のベースラインよりも2～10倍単純である。
  論文  参考訳（メタデータ） (2026-05-26T16:25:05Z)
• Post-hoc Self-explanation of CNNs [7.186338158934004]
  この研究は、畳み込みニューラルネットワークのための$k$-meansベースのポストホック説明の共通形式を導入している。 最後の3ブロックのような、より浅い、より圧縮されていない機能アクティベーションを使用することで、セマンティックな忠実さと予測性能のわずかに低下するトレードオフが生じる。
  論文  参考訳（メタデータ） (2026-03-30T14:05:37Z)
• Breaking Symmetry Bottlenecks in GNN Readouts [0.764671395172401]
  グラフニューラルネットワーク(GNN)は構造化データの学習に広く用いられているが、非同型グラフを識別する能力は基本的に制限されている。 読み出し段階で独立したボトルネックが発生することを示す。 本稿では,ノード表現を対称対応チャネルに分解するプロジェクタベースの不変読み出し手法を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:08:13Z)
• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Neural Vector Fields: Generalizing Distance Vector Fields by Codebooks and Zero-Curl Regularization [73.3605319281966]
  メッシュと暗黙的符号なし距離関数(UDF)を演算する明示的な学習プロセスを採用した新しい3D表現であるNeural Vector Fields (NVF)を提案する。 両NVFを水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・クロスドメイン化の4つのシナリオで評価した。
  論文  参考訳（メタデータ） (2023-09-04T10:42:56Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Optimising for Interpretability: Convolutional Dynamic Alignment Networks [108.83345790813445]
  我々は、畳み込み動的アライメントネットワーク(CoDA Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。 彼らの中核となるビルディングブロックは動的アライメントユニット(DAU)であり、タスク関連パターンに合わせて動的に計算された重みベクトルで入力を変換するように最適化されている。 CoDAネットは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
  論文  参考訳（メタデータ） (2021-09-27T12:39:46Z)
• On the training of sparse and dense deep neural networks: less parameters, same performance [0.0]
  本稿では,2021年に発表されたスペクトル学習手法の変種を提案する。 固有値は検証可能なノブとして機能し、(i)入力ノードの寄与を増強したり、あるいは沈黙したりするために自由に調整することができる。 それぞれのスペクトルパラメータはノード間重みの集合全体を反映しており、この特性を効果的に活用し、見事な分類能力を持つスパースネットワークを創出する。
  論文  参考訳（メタデータ） (2021-06-17T14:54:23Z)
• Convolutional Dynamic Alignment Networks for Interpretable Classifications [108.83345790813445]
  我々は、畳み込み動的アライメントネットワーク(CoDA-Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。 コアとなるビルディングブロックは動的アライメントユニット(DAU)で、入力をタスク関連パターンと動的に整合する重みベクトルで線形に変換する。 CoDA-Netsは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
  論文  参考訳（メタデータ） (2021-03-31T18:03:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。