論文の概要: Training Across Reservoirs: Using Numerical Differentiation To Couple Trainable Networks With Black-Box Reservoirs

• arxiv url: http://arxiv.org/abs/2510.25074v1
• Date: Wed, 29 Oct 2025 01:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.902448
• Title: Training Across Reservoirs: Using Numerical Differentiation To Couple Trainable Networks With Black-Box Reservoirs
• Title（参考訳）: 貯留層を横断する訓練:ブラックボックス貯留層とトレーニング可能なネットワークを結合する数値微分を用いた
• Authors: Andrew Clark, Jack Moursounidis, Osmaan Rasouli, William Gan, Cooper Doyle, Anna Leontjeva,
• Abstract要約: ネットワーク構造全体にわたる偏微分を推定する摂動法である境界数値微分法(BOND)を提案する。 BONDは、既存の摂動法から改善された精度とスケーラビリティを示す。 これらのブラックボックス関数は、固定されたトレーニングされていないネットワークとして実験で実現したものであり、トレーニング可能なパラメータの数を増やすことなく、モデル性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 2.3333182291898384
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce Bounded Numerical Differentiation (BOND), a perturbative method for estimating partial derivatives across network structures with inaccessible computational graphs. BOND demonstrates improved accuracy and scalability from existing perturbative methods, enabling new explorations of trainable architectures that integrate black-box functions. We observe that these black-box functions, realized in our experiments as fixed, untrained networks, can enhance model performance without increasing the number of trainable parameters. This improvement is achieved without extensive optimization of the architecture or properties of the black-box function itself. Our findings highlight the potential of leveraging fixed, non-trainable modules to expand model capacity, suggesting a path toward combining analogue and digital devices as a mechanism for scaling networks.
• Abstract（参考訳）: ネットワーク構造全体にわたる偏微分を非アクセス性計算グラフで推定する摂動的手法である境界数値微分法(BOND)を提案する。 BONDは、既存の摂動法から改善された精度とスケーラビリティを示し、ブラックボックス機能を統合するトレーニング可能なアーキテクチャの新しい探索を可能にした。 これらのブラックボックス関数は、固定されたトレーニングされていないネットワークとして実験で実現したものであり、トレーニング可能なパラメータの数を増やすことなく、モデル性能を向上させることができる。 この改善は、ブラックボックス関数自体のアーキテクチャや特性を広範囲に最適化することなく達成される。 本研究は, モデルキャパシティを拡大するために, 固定・非トレーニングモジュールを活用する可能性を強調し, ネットワークのスケーリング機構としてアナログデバイスとデジタルデバイスを組み合わせるための道筋を示唆している。

関連論文リスト

• Bridging Function Approximation and Device Physics via Negative Differential Resistance Networks [17.356504841908826]
  Kanalogue は、負の差動抵抗デバイスを用いた Kolmogorov-Arnold Networks (KAN) の完全なアナログ実装である。 NbSi2N4/HfSi2N4ヘテロ構造から作製したトンネルダイオードの固有負差抵抗特性を利用して、座標ワイド非線形性を構築する。 その結果,デジタルベースラインと競合する分類精度を維持しつつ,最小限のパラメータで複雑な関数を近似できることが示唆された。
  論文  参考訳（メタデータ） (2025-10-24T15:38:22Z)
• Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions [0.1633272850273525]
  本研究では, アクティベーション関数から得られる厳密な勾配等級は, 勾配方向が保存されている場合, ほとんど冗長であることを示す。 我々は,Heaviside ステップ関数のような,非微分可能活性化関数を持つニューラルネットワークを効果的に訓練できることを明確に示す。
  論文  参考訳（メタデータ） (2025-09-08T21:30:00Z)
• Extension of Symmetrized Neural Network Operators with Fractional and Mixed Activation Functions [0.0]
  本稿では, 分数および混合活性化関数を組み込むことにより, 対称性を持つニューラルネットワーク演算子への新たな拡張を提案する。 本フレームワークでは、アクティベーション関数に分数指数を導入し、適応的な非線形近似を精度良く実現する。
  論文  参考訳（メタデータ） (2025-01-17T14:24:25Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。 機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。 化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• A Functional Extension of Semi-Structured Networks [2.482050942288848]
  半構造化ネットワーク(SSN)は、深いニューラルネットワークを持つ付加モデルに精通した構造をマージする。 大規模データセットにインスパイアされた本研究では,SSNを機能データに拡張する方法について検討する。 本稿では,古典的機能回帰手法の優位性を保ちつつ,スケーラビリティを向上する機能的SSN法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T18:50:18Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。