論文の概要: On the Effect of Bit-Level Parameter Perturbations in Machine Learning and Deep Learning Models

• arxiv url: http://arxiv.org/abs/2609.26280v1
• Date: Fri, 14 Aug 2026 13:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.953937
• Title: On the Effect of Bit-Level Parameter Perturbations in Machine Learning and Deep Learning Models
• Title（参考訳）: 機械学習とディープラーニングモデルにおけるビットレベルパラメータ摂動の影響について
• Abstract要約: 我々は,従来の機械学習モデルがパラメータの小さなターゲット変更にどのように反応するかを検討する。 古典的学習モデルでは、隠れマルコフモデル(HMM)とサポートベクトルマシン(SVM)を考える。 また,MLP(Multilayer Perceptrons)とLSTM(Long Short-Term Memory)の類似実験を行った。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this chapter, we investigate how classical machine learning models respond to small, targeted modifications in their parameters. We compare and contrast these results to analogous experiments on deep learning models. For classical learning models, we consider Hidden Markov Models (HMM) and Support Vector Machines (SVM), and for comparison, we conduct analogous experiments involving Multilayer Perceptrons (MLP) and Long Short-Term Memory (LSTM) networks. When applied to the Drebin Android malware dataset, our results show that classical models are brittle, in the sense that a limited set of selected parameters can have a dramatic effect on model behavior. In a related set of experiments, we investigate the steganographic capacity of these same learning models, that is, the proportion of bits in model parameters that can be overwritten without having a significant adverse affect on a model. We find that classical models offer limited steganographic capacity due to their compact, parameter-efficient, and relatively sensitive parameter structure. In contrast, neural networks are parameter-redundant, enabling higher steganographic capacity, where modifications can be distributed across many parameters with minimal impact on performance. These results highlight differences in how classical and neural models respond to parameter changes, with clear implications for both robustness and hidden information embedding. Overall, this work provides a framework for understanding parameter sensitivity and steganographic capacity across different classes of learning models.
• Abstract（参考訳）: 本章では,従来の機械学習モデルがパラメータの小さなターゲット変更にどのように反応するかを検討する。 我々はこれらの結果とディープラーニングモデルにおける類似実験を比較して比較する。 古典的学習モデルでは、隠れマルコフモデル(HMM)とサポートベクトルマシン(SVM)を検討し、比較として、マルチレイヤーパーセプトロン(MLP)とLong Short-Term Memory(LSTM)ネットワークを含む類似実験を行う。 Drebin Androidのマルウェアデータセットに適用すると、選択されたパラメータの限られたセットがモデル動作に劇的な影響を及ぼすという意味で、古典的なモデルが脆弱であることを示す。 関連実験では,モデルに悪影響を及ぼすことなく上書きできるモデルパラメータのビットの割合を,これらの同じ学習モデルのステガノグラフィー能力について検討する。 従来のモデルでは, コンパクトでパラメータ効率が高く, 比較的敏感なパラメータ構造のため, 定位能力に制限があることがわかった。 対照的に、ニューラルネットワークはパラメータ冗長であり、多くのパラメータに修正を分散できるため、パフォーマンスへの影響を最小限に抑えることができる。 これらの結果は、古典的モデルとニューラルモデルがパラメータの変化にどう反応するかの違いを強調しており、ロバストネスと隠れた情報埋め込みの両方に明確な意味がある。 全体として、この研究は様々な学習モデルのクラスにまたがるパラメータ感度と統計能力を理解するためのフレームワークを提供する。

関連論文リスト

• Variational autoencoder-based neural network model compression [4.992476489874941]
  変分オートエンコーダ(VAE)は、深部生成モデルの一種であり、近年広く使われている。 本稿では,VAEに基づくニューラルネットワークモデル圧縮手法について検討する。
  論文  参考訳（メタデータ） (2024-08-25T09:06:22Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• On the Steganographic Capacity of Selected Learning Models [1.0640226829362012]
  本稿では,学習モデルの聴取能力について考察する。 幅広いモデルに対して、上書き可能な低次ビットの数を決定する。 テスト対象モデルのうち, LR実験では7.04KB, InceptionV3では44.74MBであった。
  論文  参考訳（メタデータ） (2023-08-29T10:41:34Z)
• Beyond Convergence: Identifiability of Machine Learning and Deep Learning Models [0.0]
  本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。 我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。 その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
  論文  参考訳（メタデータ） (2023-07-21T03:40:53Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。