論文の概要: Preserving Bilinear Weight Spectra with a Signed and Shrunk Quadratic Activation Function

• arxiv url: http://arxiv.org/abs/2509.01874v1
• Date: Tue, 02 Sep 2025 01:42:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.873425
• Title: Preserving Bilinear Weight Spectra with a Signed and Shrunk Quadratic Activation Function
• Title（参考訳）: 符号付き低速2次活性化関数を持つ双線形重みスペクトルの保存
• Authors: Jason Abohwo, Thomas Mosen,
• Abstract要約: Signed Quadratic Shrink (SQS) は、Gated Linear Units (GLU) が解釈可能な特徴を学習できるように設計されたアクティベーション機能である。 実験の結果,SQSは最先端のアクティベーション機能と競合する性能を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the inner workings of machine learning models is critical for ensuring their reliability and robustness. Whilst many techniques in mechanistic interpretability focus on activation driven analyses, being able to derive meaningful features directly from the weights of a neural network would provide greater guarantees and more computational efficiency. Existing techniques for analyzing model features through weights suffer from drawbacks such as reduced performance and data inefficiency. In this paper, we introduce Signed Quadratic Shrink (SQS), an activation function designed to allow Gated Linear Units (GLUs) to learn interpretable features without these drawbacks. Our experimental results show that SQS achieves performance competitive with state-of-the-art activation functions whilst enabling weight-based interpretability
• Abstract（参考訳）: マシンラーニングモデルの内部動作を理解することは、信頼性と堅牢性の確保に不可欠である。 機械論的解釈可能性の多くの技術はアクティベーション駆動分析に重点を置いているが、ニューラルネットワークの重みから直接有意義な特徴を導き出すことができれば、より高い保証と計算効率が得られるだろう。 モデルの特徴を重みを通して分析する既存の技術は、性能低下やデータ非効率といった欠点に悩まされている。 本稿では,GLU(Gated Linear Units)がこれらの欠点を伴わずに解釈可能な特徴を学習できるように設計されたアクティベーション機能であるSigned Quadratic Shrink (SQS)を紹介する。 我々の実験結果によると、SQSは重みに基づく解釈性を実現しつつ、最先端のアクティベーション機能と競合する性能を実現する。

関連論文リスト

• Outcome-Aware Spectral Feature Learning for Instrumental Variable Regression [37.76825470697479]
  本稿では,特徴学習プロセスの結果を認識するフレームワークであるAugmented Spectral Feature Learningを紹介する。 我々は、このフレームワークの理論分析を行い、挑戦的なベンチマークに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-11-30T14:54:03Z)
• Physics-informed Machine Learning for Static Friction Modeling in Robotic Manipulators Based on Kolmogorov-Arnold Networks [1.729944896610809]
  摩擦モデリングはロボットオペレーティングシステムにおいて高精度な動作制御を実現する上で重要な役割を担っている。 本稿では,ロボット関節の静的摩擦モデリングのためのKAN(Kolmogorov Arnold Network)に基づく物理インスパイアされた機械学習手法を提案する。
  論文  参考訳（メタデータ） (2025-11-13T08:32:45Z)
• Circuit Insights: Towards Interpretability Beyond Activations [20.178085579725472]
  WeightLensとCircuitLensの2つの相補的手法を提案する。 WeightLensは学習したウェイトから直接機能を解釈し、説明モデルやデータセットの必要性を取り除く。 CircuitLensは、コンポーネント間のインタラクションから機能アクティベーションがどのように発生し、回路レベルのダイナミクスを明らかにするのかをキャプチャする。
  論文  参考訳（メタデータ） (2025-10-16T17:49:41Z)
• Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning [53.983686308399676]
  Mambaは、強い経験的性能を持つ線形時間列モデルである。 単一インデックスモデル $y approx g_* (langle boldsymbolbeta, boldsymbolx rangle)$ の文脈内学習について検討する。 勾配に基づく手法で事前学習したMambaは,テスト時間特徴学習によって効率的なICLを実現することができることを示す。
  論文  参考訳（メタデータ） (2025-10-14T00:21:20Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [60.58067866537143]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• How Feature Learning Can Improve Neural Scaling Laws [79.59705237659547]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• Iterative Feature Boosting for Explainable Speech Emotion Recognition [17.568724398229232]
  本稿では,効率的な特徴工学手法に基づく新しい教師付きSER手法を提案する。 特徴の関連性を評価し,特徴セットを洗練させるために,結果の説明可能性に特に注意を払っている。 提案手法は,TESSデータセット上での感情認識において,ヒトレベルのパフォーマンス(HLP)および最先端の機械学習手法より優れる。
  論文  参考訳（メタデータ） (2024-05-30T15:44:27Z)
• Enhancing Q-Learning with Large Language Model Heuristics [0.0]
  大規模言語モデル(LLM)は、単純なタスクでゼロショット学習を達成できるが、推論速度の低下と時折幻覚に悩まされる。 我々は,LLMを幻覚として活用し,強化学習のためのQ関数の学習を支援するフレームワークであるtextbfLLM-guided Q-learningを提案する。
  論文  参考訳（メタデータ） (2024-05-06T10:42:28Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Quantum-tailored machine-learning characterization of a superconducting qubit [50.591267188664666]
  我々は,量子デバイスのダイナミクスを特徴付ける手法を開発し,デバイスパラメータを学習する。 このアプローチは、数値的に生成された実験データに基づいてトレーニングされた物理に依存しないリカレントニューラルネットワークより優れている。 このデモンストレーションは、ドメイン知識を活用することで、この特徴付けタスクの正確性と効率が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-24T15:58:57Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。