論文の概要: Profile-aware diagnostics of discarded parameter-Hessian mass
- arxiv url: http://arxiv.org/abs/2611.01335v1
- Date: Sat, 31 Oct 2026 23:04:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.284244
- Title: Profile-aware diagnostics of discarded parameter-Hessian mass
- Title(参考訳): 廃パラメータ・ヘッセン質量のプロファイル認識診断
- Abstract要約: オフブロック2乗フロベニウス質量とグループサイズおよび測定された対角的な基準との比較を行った。
ResNet-18とスキップフリーのツインは、プロファイルが異なる。
- 参考スコア(独自算出の注目度): 45.88028371034407
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A discarded parameter-Hessian fraction depends on the diagonal profile and parameter partition; it is not the Fisher information discarded by K-FAC. We compare off-block squared Frobenius mass with group-size and measured diagonal-profile references at specified weights, inputs and coordinates. Similar initial fractions in ResNet-18 and its skip-free twin accompany different profiles. On the same saved trained ResNet-18 states, changing from stage groups to layers moves estimated mass from below to above the profile envelope. An approximate joint conditional Monte Carlo screen resolves this crossing in 6/6 seed/input cells; the skip-free network has 2 resolved and 4 unresolved comparisons. A separate comparison of nine saved states under two geometry draws splits the full model residual into off-group Hessian action and its remainder: gradient, within-group action and damping. At unit correction scale, off-group input alone increases loss in 17 of 18 state-geometry comparisons; in nine of those cases, the full candidate has lower loss than the remainder-only candidate. After correction-norm matching, seven of the ten comparisons that initially favoured full favour the remainder. These finite-loss contrasts depend on scale and do not establish a restoration benefit.
- Abstract(参考訳): 破棄されたパラメータ-ヘッセン分画は対角線プロファイルとパラメータ分割に依存し、K-FACによって破棄されたフィッシャー情報ではない。
我々は,オフブロック正方形フロベニウス質量とグループサイズと,特定の重み,入力,座標における対角線参照の測定値を比較した。
ResNet-18とスキップフリーのツインは、プロファイルが異なる。
同じトレーニングされたResNet-18状態において、ステージグループからレイヤへの変更は、推定質量をプロファイルエンベロープの下から上へと移動させる。
モンテカルロスクリーンは6/6のシード/インプットセルでこの交差を解消するが、スキップフリーネットワークは2つの解と4つの未解決の比較を持つ。
2つの幾何学的引き分けの下で保存された9つの状態の別個の比較は、完全モデル残余を非群ヘッセン作用と残り(勾配、群内作用、減衰)に分割する。
単位補正スケールでは、オフグループ入力だけで18の状態幾何学比較のうち17の損失が増加し、そのうち9のケースでは、完全候補は残りのみの候補よりも損失が小さい。
修正ノームマッチングの後、最初に好まれていた10つの比較のうち7つは残りを好んだ。
これらの有限空間のコントラストはスケールに依存しており、復元の利益を確立できない。
関連論文リスト
- Robust Local Optimization Done Right [0.7505549079433349]
RANSACスコアリングと局所最適化(LO)は、異なる堅牢性要件を課している。
基本行列,基本行列,ホモグラフィー推定に対するロバストロス形状,不正確な不整合スケール,最適化戦略の影響を系統的に分離した。
我々のRANSACは、現在最先端のRANSACのPhotoTourismにおける正真正銘のポーズエラーを2.23度から1.58度に減らし、正確な不整合スケールで38度から6.2度に減らした(大きすぎる128倍)。
論文 参考訳(メタデータ) (2026-10-05T03:48:25Z) - Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳(メタデータ) (2026-09-28T14:31:19Z) - GAUGE: Group-Wise View-Inconsistency Rectification for Feed-Forward 4D Tracking [48.91477882822122]
本稿では,GAUGE(Group-wise Adaptive Unsupervised Gauge Estimation)について述べる。
方向整合性と空間接続性から運動群を復元し、フレーム単位のラジアルスケールとグループレベルの変換を推定する。
D4RT, 4RC, SM4RTを含む8つのトラッカーの動的クエリポイントでは, 訂正されていない予測に対して, 終端誤差を15.1%から62.6%削減する。
論文 参考訳(メタデータ) (2026-09-26T13:14:53Z) - Activation-Space Order-Swap Geometry: A Site-Asymmetry Audit [0.0]
順序に依存したアクティベーション統計は、しばしば相互作用の証拠として解釈されるが、その解釈は介入がネットワークに入る場所によって構成される。
二重微分可能な読み出しの場合、オープンパスのオーダースワップは単一の介入によって測定された正準加法的応答に分解される。
6つのオープンウェイト言語モデルファミリの中で、シングルインターベンションベースラインはブラケット標準の84.3-97.7%を説明している。
論文 参考訳(メタデータ) (2026-08-26T02:54:02Z) - Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳(メタデータ) (2026-08-18T09:32:03Z) - Geometry-Calibrated Closed-Form Shrinkage for SAR Despeckling [0.7782912896579166]
合成開口レーダ(SAR: Synthetic Aperture radar)は、乗法的非ガウス雑音を抑えなければならない逆回復問題である。
我々は、ログ-ヨ-ジョンソン変換を適用した非局所スパース推定器を再検討し、類似したパッチをグループに積み重ね、各群をその左特異点ベースでコード化し、その結果の係数を縮小する。
論文 参考訳(メタデータ) (2026-08-15T04:28:27Z) - When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning [2.8699714648237387]
密度の高い調査では、分割半信頼パス四分法スコアは16.1%上昇し、選択されたエンドポイントは2つの制御よりも6.0-7.7%低下した。
我々は、最も供給の悪いグループがいつデプロイに気を配るのか、圧縮統計が正当化できるものは何なのかを尋ねる。
論文 参考訳(メタデータ) (2026-08-03T23:07:29Z) - CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning [47.406985340436925]
CoCurveはキャリブレーションのみの、微調整なしの手法で、注意とFFNのユニットを共同で刺激する。
これは1つの予算付き二次プログラムに還元され、ラベル、微調整、リカバリを伴わず、共有された注目の下で1ショットで解決される。
論文 参考訳(メタデータ) (2026-07-20T05:27:57Z) - Unsupervised Deep Probabilistic Approach for Partial Point Cloud
Registration [74.53755415380171]
ディープポイントクラウド登録手法は、部分的に重複し、ラベル付きデータに依存するという課題に直面している。
部分的な重なりを持つ点雲に対する教師なしの深い確率的登録フレームワークであるUDPRegを提案する。
UDPRegは3DMatch/3DLoMatchとModelNet/ModelLoNetベンチマークの競合性能を実現しています。
論文 参考訳(メタデータ) (2023-03-23T14:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。