論文の概要: DAGGER: Gradient-Free Construction of Transiently Amplifying Networks under Hard Connectivity Constraints
- arxiv url: http://arxiv.org/abs/2606.01227v1
- Date: Sun, 31 May 2026 13:20:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.398917
- Title: DAGGER: Gradient-Free Construction of Transiently Amplifying Networks under Hard Connectivity Constraints
- Title(参考訳): DAGGER: ハードコネクティビティ制約下での過渡増幅ネットワークのグラディエントフリー構築
- Authors: James C. Ferguson,
- Abstract要約: DAGGERは、過渡非正規増幅のための勾配のないシングルパスアルゴリズムである。
これは1つの前方パスにおける多重セット保存において勾配に基づく手法と一致するか、あるいは超える。
DAGGERが他の増幅ネットワークと構造的に異なる理由を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many networks not only support but also rely on transient non-normal amplification, an orders-of-magnitude increase in the activity of an otherwise stable system. Constructing such networks under hard sign/sparsity/diagonal constraints -- the regime relevant for biological connectomes and structured RNN initializations -- has so far required either gradient-based local search with thousands of inner-loop eigendecompositions or Schur-form direct construction in an abstract basis that breaks the constraints under projection. Here we introduce DAGGER (Directed Acyclic Graph Guided Edge Reweighting), a gradient-free single-pass algorithm. Given a stable signed sparse matrix, DAGGER produces an output with the same sign, sparsity, and diagonal. A single scalar $β$ controls a Wasserstein-2 budget that smoothly trades exact multiset preservation ($β= 0$) for amplification; peak amplification grows essentially without bound with $β$, empirically reaching $10^{10}$ before numerical overflow. DAGGER matches or exceeds gradient-based methods at multiset preservation in a single forward pass -- 30-100$\times$ fewer eigendecompositions than a typical gradient inner loop -- and at moderate $β$ beats them by orders of magnitude with connectivity exactly preserved. We develop the algorithm, compare it to the existing methods and on a downstream signal-detection task, and examine the diagnostics that show why DAGGER is structurally different from other amplifying networks.
- Abstract(参考訳): 多くのネットワークは、サポートするだけでなく、過渡的な非正規増幅にも依存している。
生物学的コネクトームと構造的RNN初期化に関連する構造である、ハードサイン/スパーシティ/対角的制約の下でそのようなネットワークを構築するには、これまでに数千のインナーループ固有分解を持つ勾配ベースの局所探索か、あるいは射影の制約を破る抽象的にシュル形式直接構築が必要である。
ここでは、勾配のないシングルパスアルゴリズムであるDAGGER(Directed Acyclic Graph Guided Edge Reweighting)を紹介する。
安定な符号付きスパース行列が与えられたとき、DAGGERは同じ符号、空間、対角線を持つ出力を生成する。
単一のスカラー$β$は、増幅のために正確なマルチセット保存(β=0$)を円滑に取引するWasserstein-2予算を制御する。
DAGGERは、1つのフォワードパス(30-100$\times$)の多重集合保存において勾配ベースの手法と一致または超え、通常の勾配内ループよりも固有分解の少ない -- そして適度な$β$は、接続性を正確に保存した桁数でそれらを打ち負かす。
そこで本研究では,DAGGERが他の増幅ネットワークと構造的に異なる理由を,既存の手法や下流信号検出タスクと比較し,診断手法について検討する。
関連論文リスト
- Neural Autoregressive Control Variates for the Quantum Monte Carlo Sign Problem [2.3717692810269586]
量子モンテカルロシミュレーションにおいて,符号問題を緩和するために,2組の自己回帰モデルを訓練する。
2つの自己回帰的ネットワークは、厳密に非結合な支持を持つ正と負の符号セクターに限られる。
それらの差は構造的にゼロ平均であり、符号推定器との相関が分散還元を制御する補助観測器を提供する。
論文 参考訳(メタデータ) (2026-05-26T10:30:44Z) - Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。
合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
論文 参考訳(メタデータ) (2026-05-25T07:08:57Z) - Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
異なる力学系間の急激な遷移は、複雑なシステムの目印である。
オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。
モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
論文 参考訳(メタデータ) (2026-04-06T13:43:20Z) - Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。
VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。
合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
論文 参考訳(メタデータ) (2026-01-30T03:59:38Z) - Universal Hirschberg for Width Bounded Dynamic Programs [0.0]
ヒルシュベルクのアルゴリズムは、格子動的プログラム(DP)上の中点二項による$O(N2)$から$O(N)$へ、最も長い共通部分列問題の空間複雑性を減少させる。
我々は、その基礎となるアイデアが、有向非巡回グラフ(DP DAG)に局所的依存を持つ広範な動的プログラムのクラスに一般化されることを示す。
前方シングルパスモデルでは$()$空間項は避けられないことを示し、ストリーミング設定における推測される$sqrtT$-type障壁について議論する。
論文 参考訳(メタデータ) (2025-12-10T22:26:22Z) - Continual Release of Densest Subgraphs: Privacy Amplification & Sublinear Space via Subsampling [2.0607844057825324]
エッジ微分プライベート(DP)グラフアルゴリズムのサブ線形空間連続リリースモデルについて検討する。
我々の主な成果は、最高の静的DPアルゴリズムの加算誤差と一致する最初の連続リリースDSGアルゴリズムである。
グラフDP設定にグラフの密度化を導入し、エッジを追加して初期サブサンプリングをトリガーし、事前の作業によって生じる誤差や空間の余分な対数要素を除去する。
論文 参考訳(メタデータ) (2025-10-13T17:20:13Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳(メタデータ) (2025-05-19T07:32:56Z) - Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。
我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。
XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
論文 参考訳(メタデータ) (2024-10-13T21:49:29Z) - Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。
本稿では,手話の使用を排除したRGDアルゴリズムを提案する。
提案したRGDアルゴリズムの有効性は実験で広く実証されている。
論文 参考訳(メタデータ) (2023-12-03T02:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。