論文の概要: What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility

• arxiv url: http://arxiv.org/abs/2606.21126v1
• Date: Fri, 19 Jun 2026 06:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 08:05:40.496315
• Title: What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility
• Title（参考訳）: スケール安定性、参照妥当性、深さユーティリティによるフィードバックアライメントの評価
• Authors: Yuren Hao, Xiang Wan, ChengXiang Zhai,
• Abstract要約: 本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
• 参考スコア（独自算出の注目度）: 48.10132234701036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of deep learning, training deep networks in biologically plausible and hardware-efficient ways remains an open challenge. Feedback alignment (FA) methods address this by replacing backpropagation's symmetric backward weights with fixed random matrices, but their effectiveness depends critically on whether they can be accurately evaluated. The standard evaluation relies on two quantities: task accuracy and cosine similarity between the method's credit signal and the backpropagation gradient. We show that this reporting pair is insufficient by identifying two independent failure modes, both silent under current reporting: (1) measurement degeneracy, where the BP reference gradient collapses to the numerical floor in terminal-LayerNorm residual architectures, rendering cosine uninterpretable; and (2) aggregation collapse, where the aggregate cosine masks layerwise heterogeneity that concentrates credit at one end of the network. To address these limitations, we propose a diagnostic evaluation protocol based on three checks -- scale stability, reference validity, and depth utility -- together with per-layer rather than aggregate cosine reporting. Across multiple architectures and methods, the standard reporting pair gives no signal of failure in any audited case, while our protocol identifies all failures with wide calibration margins. The two failure modes are causally independent: a per-block scale penalty alleviates Mode 1 (residual scale explosion driving reference collapse) without affecting Mode 2 (cosine ranking that contradicts every functional metric we measured). Identifying these silent failures prevents researchers from building on non-functional credit assignment and provides actionable guidance for developing FA methods that genuinely train deep layers.
• Abstract（参考訳）: ディープラーニングの成功にもかかわらず、生物学的に妥当でハードウェア効率のよい方法でディープネットワークを訓練することは、依然としてオープンな課題である。 フィードバックアライメント(FA)法は、バックプロパゲーションの対称な後方重みを固定されたランダム行列に置き換えることでこの問題に対処するが、それらの効果は正確に評価できるかどうかに大きく依存する。 標準的な評価は、タスク精度と、メソッドのクレジット信号とバックプロパゲーション勾配のコサイン類似性という2つの量に依存している。 1) BP基準勾配が終末・ライヤーノーム残差アーキテクチャの数値フロアに崩壊し、コサインを解釈不能にし、(2) アグリゲーション崩壊、(2) 集約コサインマスクがネットワークの一方の端で信用を集中する階層的不均一性を示す。 これらの制約に対処するために,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、標準的なレポートペアは監査対象のケースに障害の兆候を与えませんが、我々のプロトコルは広い校正マージンを持つすべての障害を特定します。 2つの障害モードは因果的に独立している: ブロック単位のスケールペナルティはモード1(残留スケールの爆発駆動基準崩壊)を緩和する。 これらのサイレント障害の特定は、研究者たちが非機能的な信用割り当てを構築するのを妨げ、深層を真に訓練するFAメソッドを開発するための実用的なガイダンスを提供する。

関連論文リスト

• From Refusal Geometry to Safety Geometry: Harmfulness--Refusal Coupling under Dynamic Adversarial Fine-Tuning [14.6508023458559]
  既存の評価では、モデルが有害性を認識することを学んだかどうかを明らかにしていない。 本研究では, 有害性担体, 拒絶性担体, 結合性を測定する二重安全幾何プロトコルを用いて検討する。
  論文  参考訳（メタデータ） (2026-06-15T07:50:00Z)
• When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
  本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。 この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
  論文  参考訳（メタデータ） (2026-06-05T05:20:32Z)
• Architecture-agnostic Lipschitz-constant Bayesian header and its application to resolve semantically proximal classification errors with vision transformers [0.0]
  この研究は、アーキテクチャに依存しないリプシッツ・コンスタント・ベイジアンヘッダを示し、視覚変換器のような特徴抽出器に統合することができる。 また,不確実性と不確かさを誤分類率で捉えるための新しい指標と,適応型算術・平均融合方式を提案する。 モンテカルロサンプリングにより計算コストは上昇するが、事前に訓練されたバックボーンとのプラグ・アンド・プレイの互換性を提供する。
  論文  参考訳（メタデータ） (2026-05-07T09:18:06Z)
• Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
  SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。 提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。 以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
  論文  参考訳（メタデータ） (2026-04-27T14:13:30Z)
• Integrating Disparity Confidence Estimation into Relative Depth Prior-Guided Unsupervised Stereo Matching [55.784713740698365]
  教師なしのステレオマッチングは、コストのかかる不均一なアノテーションから独立して、大きな注目を集めている。 実現可能な解決策は、相対深度マップからステレオマッチングネットワークへの3次元幾何学的知識の転送にある。 本研究は,これらの課題に対処する新しい教師なし学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-02T09:11:05Z)
• Uncertainty-aware Unsupervised Multi-Object Tracking [33.53331700312752]
  教師なしマルチオブジェクトトラッカーは、信頼できる機能埋め込みの学習に劣る。 最近の自己監督技術は採用されているが、時間的関係を捉えられなかった。 本稿では、不確実性問題は避けられないが、不確実性自体を活用して学習された一貫性を向上させることができると論じる。
  論文  参考訳（メタデータ） (2023-07-28T09:03:06Z)
• Mitigating the Mutual Error Amplification for Semi-Supervised Object Detection [92.52505195585925]
  擬似ラベルの修正機構を導入し,相互誤りの増幅を緩和するクロス・インストラクション(CT)手法を提案する。 他の検出器からの予測を直接擬似ラベルとして扱う既存の相互指導法とは対照的に,我々はラベル修正モジュール(LRM)を提案する。
  論文  参考訳（メタデータ） (2022-01-26T03:34:57Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Localization Uncertainty Estimation for Anchor-Free Object Detection [48.931731695431374]
  アンカーベース物体検出のための既存の不確実性推定手法にはいくつかの制限がある。 アンカーフリー物体検出のためのUADと呼ばれる新しい位置推定不確実性推定手法を提案する。 本手法は,ボックスオフセットの4方向の不確かさを均一に捉え,どの方向が不確実であるかを判断する。
  論文  参考訳（メタデータ） (2020-06-28T13:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。