Fugu-MT 論文翻訳(概要): LaPrune: Controllable Differentiable Sparsity at Million Scale

論文の概要: LaPrune: Controllable Differentiable Sparsity at Million Scale

arxiv url: http://arxiv.org/abs/2608.04057v1
Date: Tue, 04 Aug 2026 12:17:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-06 14:48:43.500189
Title: LaPrune: Controllable Differentiable Sparsity at Million Scale
Title（参考訳）: LaPrune: 数百万のスケールで制御可能な差別化可能な疎結合
Abstract要約: ラプルー(LaPrune)は、選択した質量を保存しながら正規化された第2モーメントを制御する数学的に正確な微分可能な層である。 LapSumバリアは選択質量を保ち、正規化された第二モーメント制約は、マスクを高密度の等質量割り当てから各予算でハードトップ-k$へと移動させる。本研究では,飽和分数,二分数制限法則,および最短分数の厳密な保証法を導出する。
参考スコア（独自算出の注目度）: 9.114051379014429
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Top-$k$ selection determines which components of a sparse model remain active. Hard selection blocks gradients, while continuous relaxations often couple mask hardness to the selected mass. We introduce LaPrune, a mathematically exact-budget differentiable layer that controls the normalized second moment while preserving the selected mass. A LapSum barrier preserves the selection mass, and a normalized second-moment constraint moves the mask from a dense equal-mass allocation toward hard top-$k$ at each budget. We derive a population prediction of the saturated fraction, a near-binary limiting law, and a tight worst-case guarantee on the near-zero fraction. The normalized hardness parameter is invariant to score scale, while a fixed LapSum temperature is not.
Abstract（参考訳）: Top-k$選択はスパースモデルのどのコンポーネントがアクティブかを決定する。硬い選択は勾配をブロックするが、連続的な緩和はしばしば選択した質量にマスクの硬さを結合する。ラプルー(LaPrune)は、選択した質量を保存しながら正規化された第2モーメントを制御する数学的に正確な微分可能な層である。 LapSumバリアは選択質量を保ち、正規化された第二モーメント制約は、マスクを高密度の等質量割り当てから各予算でハードトップ-k$へと移動させる。本研究では,飽和分数,二分数制限法則,および最短分数の厳密な保証法を導出する。正規化硬度パラメータはスコアスケールに不変であるが、固定されたLapSum温度は変化しない。

関連論文リスト

Kernel Methods for Refined Prophet Inequalities [27.407082709350707]
単選択預言不等式は、独立した非負の値が逐次現れる標準的なオンライン選択問題である。単項預言不等式に対する一般的なカーネル法を開発した。
論文参考訳（メタデータ） (2026-08-09T12:08:57Z)
One-step lowest-variance selection in a Gaussian random-field model motivated by masked diffusion: Total correlation and a square root collision threshold [8.230831152671708]
マスク付き離散拡散における信頼誘導型並列アンマスキングの動機付けにより、スタイリングされたガウス確率場モデルにおける1つの選択ステップについて検討する。その結果、マスク付き離散拡散における厳密な信頼幾何と空間相関が一段階選択に結びついている。
論文参考訳（メタデータ） (2026-07-20T03:56:34Z)
Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
論文参考訳（メタデータ） (2026-06-20T07:52:46Z)
Annealed Entropic Allocation for Ranking and Selection [4.54773250519101]
Annealed Entropic Allocation(アニールド・エントロピック・アロケーション)は、ランキングとセレクションにおける逐次的な予算配分のための重み付きソフトミンフレームワークである。本研究では,サロゲートが一様収束し,ソフトミンウェイトがアクティブチャレンジャーに集中し,固定重みの下では,誘導目標割り当てマップがシンプル内部で連続していることを示す。
論文参考訳（メタデータ） (2026-06-09T18:25:02Z)
Are Stochastic Multi-objective Bandits Harder than Single-objective Bandits? [4.452583096196013]
多目的包帯は、各腕の報酬がスカラーではなく多次元ベクトルである広い適用性とエレガンスのため、注目を集めている。この領域における長年の疑問は、この複雑さが加わったため、パフォーマンスを最適化するのが困難であるかどうかである。我々は注文の最小限の後悔を達成する新しいアルゴリズム (fracKlog Tgdagger) を開発する。
論文参考訳（メタデータ） (2026-04-08T13:48:54Z)
Homogenized Transformers [5.290251602267728]
重みを層や頭部で独立に再サンプリングする多頭部自己注意のランダムモデルについて検討した。この力学系は, 深さ, 残留段数, および頭部の個数の適切な関節スケーリングの下では, 非自明な限界を許容する。
論文参考訳（メタデータ） (2026-04-02T12:39:27Z)
Optimization of Time-Dependent Decoherence Rates and Coherent Control for a Qutrit System [77.34726150561087]
非コヒーレント制御は、特定の制御方法で時間に応じてデコヒーレンス率を決定する。我々は、システムの最終状態$rho(T)$と与えられたターゲット状態$rho_rmターゲットとの間のヒルベルト・シュミットの重なりを最大化する問題を考察する。
論文参考訳（メタデータ） (2023-08-08T01:28:50Z)
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-21T00:17:24Z)
A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
論文参考訳（メタデータ） (2022-09-15T16:59:19Z)
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文参考訳（メタデータ） (2021-05-03T16:36:27Z)
Masksembles for Uncertainty Estimation [60.400102501013784]
ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。 mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
論文参考訳（メタデータ） (2020-12-15T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。