論文の概要: Structured Transformations for Stable and Interpretable Neural Computation

• arxiv url: http://arxiv.org/abs/2508.00127v1
• Date: Thu, 31 Jul 2025 19:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.649419
• Title: Structured Transformations for Stable and Interpretable Neural Computation
• Title（参考訳）: 安定かつ解釈可能なニューラル計算のための構造化変換
• Authors: Saleh Nikooroo, Thomas Engel,
• Abstract要約: 我々は、標準の非拘束アフィンパラダイムから逸脱する層レベルの変換の再構成を導入する。 我々の定式化は内部の整合性を促進し、奥行きの安定した情報フローをサポートする。 これらの構造変換を用いて構築されたモデルは、勾配条件の改善、摂動に対する感度の低減、層幅の堅牢性を示す。
• 参考スコア（独自算出の注目度）: 1.2064681974642195
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite their impressive performance, contemporary neural networks often lack structural safeguards that promote stable learning and interpretable behavior. In this work, we introduce a reformulation of layer-level transformations that departs from the standard unconstrained affine paradigm. Each transformation is decomposed into a structured linear operator and a residual corrective component, enabling more disciplined signal propagation and improved training dynamics. Our formulation encourages internal consistency and supports stable information flow across depth, while remaining fully compatible with standard learning objectives and backpropagation. Through a series of synthetic and real-world experiments, we demonstrate that models constructed with these structured transformations exhibit improved gradient conditioning, reduced sensitivity to perturbations, and layer-wise robustness. We further show that these benefits persist across architectural scales and training regimes. This study serves as a foundation for a more principled class of neural architectures that prioritize stability and transparency-offering new tools for reasoning about learning behavior without sacrificing expressive power.
• Abstract（参考訳）: 優れた性能にもかかわらず、現代のニューラルネットワークは安定した学習と解釈可能な行動を促進する構造的保護を欠いていることが多い。 本研究では,標準の非拘束アフィンパラダイムから逸脱する層レベルの変換の再構成を導入する。 各変換は、構造化線形演算子と残留補正成分に分解され、より規律のある信号伝搬とトレーニングダイナミクスの改善を可能にする。 我々の定式化は、内部の整合性を促進し、標準学習目標やバックプロパゲーションと完全に互換性を維持しながら、奥行きの安定した情報フローをサポートする。 一連の合成および実世界の実験を通して、これらの構造変換で構築されたモデルが、勾配条件の改善、摂動に対する感度の低下、層単位での堅牢性を示すことを示した。 さらに、これらのメリットが、アーキテクチャの規模やトレーニング体制にまたがって持続していることも示しています。 この研究は、安定性を優先し、表現力を犠牲にすることなく学習行動について推論するための新しいツールを透明にするための、より原則化されたニューラルネットワークのクラスの基礎となる。

関連論文リスト

• Understanding Learning Dynamics Through Structured Representations [1.2064681974642195]
  本稿では,内部構造的選択が学習システムの振舞いをいかに形作るかを検討する。 これらの構造が勾配流、スペクトル感度、固定点挙動にどのように影響するかを分析する。 固定テンプレートを規定するのではなく、解釈可能な方法で学習行動を操ることのできるトラクタブルデザインの原則を強調します。
  論文  参考訳（メタデータ） (2025-08-04T07:15:57Z)
• Hierarchical Feature-level Reverse Propagation for Post-Training Neural Networks [24.442592456755698]
  エンド・ツー・エンドの自動運転は支配的なパラダイムとして現れてきたが、その高度に絡み合ったブラックボックスモデルは、解釈可能性と安全性の保証の観点から課題を提起している。 本稿では,事前学習ニューラルネットワークに適した階層的かつ非結合なポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:19:03Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models [7.798982346197703]
  潜在トークン表現の組織化は、言語モデルの安定性、一般化、文脈整合性を決定する上で重要な役割を果たす。 コアモデル重みを変化させることなくトークン埋め込みに階層的アライメント手法を導入した。 実験により, 希少なトークン検索, 逆方向, 長距離依存性追跡の改善が示された。
  論文  参考訳（メタデータ） (2025-02-06T04:01:27Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。