論文の概要: Score Broadcast and Decorrelation: A General Framework for Broadcast-Based Credit Assignment

• arxiv url: http://arxiv.org/abs/2605.30638v1
• Date: Thu, 28 May 2026 22:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.276124
• Title: Score Broadcast and Decorrelation: A General Framework for Broadcast-Based Credit Assignment
• Title（参考訳）: スコアブロードキャストとデコレーション: ブロードキャストベースのクレジットアサインメントのための一般的なフレームワーク
• Authors: Mustafa Uzun, Mete Erdogan, Cengiz Pehlevan, Alper T. Erdogan,
• Abstract要約: 各種損失の一般的な家族を対象とした放送型クレジット代入の原則的枠組みを導入する。 エラーブロードキャストは、重量輸送なしで隠れた層に出力情報を送信するバックプロパゲーションに代わる生物学的に妥当な代替手段である。 我々は,クロスエントロピーのケースを明示的に導き,許容損失クラスを特徴付けるとともに,放送信号を強化するスコアベクトル展開手法を導入する。
• 参考スコア（独自算出の注目度）: 34.9659273704306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Score Broadcast and Decorrelation (SBD), a principled framework for broadcast-based credit assignment for general families of differentiable losses. Error broadcast is a biologically plausible alternative to backpropagation that sends output information to hidden layers without weight transport. The Error Broadcast and Decorrelation (EBD) framework, recently introduced for the mean-squared-error (MSE) setting, grounded this mechanism in the stochastic orthogonality of optimal estimators, under which the optimal residual is orthogonal to functions of the input. We generalize that foundation by introducing an orthogonality principle between the output score (the gradient of loss with respect to the final-layer output) and hidden-layer activations, which holds whenever the optimal score has conditional mean zero. This single principle unifies broadcast-based credit assignment across the standard differentiable-loss families, including cross-entropy, Bregman divergences, proper scoring rules, and exponential-family negative log-likelihoods. The framework supplies a theoretical grounding for the three-factor learning rule under general losses, with the neuromodulatory factor derived as the broadcast loss score. We derive the cross-entropy case explicitly, characterize the admissible loss class, and introduce a score vector expansion technique that enriches the broadcast signal while preserving the orthogonality framework. Experiments on CIFAR-10 and Tiny ImageNet show that SBD substantially improves over existing broadcast approaches, with score vector expansion delivering further gains. Overall, this work identifies the loss score as the signal to broadcast, supplies the orthogonality theory and theoretical grounding for the three-factor learning rule from neuroscience, and shows how score vector expansion enriches the decorrelation directions of the resulting objective.
• Abstract（参考訳）: 本稿では,Score Broadcast and Decorrelation(SBD)を紹介した。 エラーブロードキャストは、重量輸送なしで隠れた層に出力情報を送信するバックプロパゲーションに代わる生物学的に妥当な代替手段である。 Error Broadcast and Decorrelation(EBD)フレームワークは、最近、平均二乗誤差(MSE)設定のために導入され、最適推定器の確率直交性において、最適残差が入力の関数に直交するこのメカニズムを基礎づけた。 我々は、最適スコアが条件平均ゼロであるときに保持する出力スコア(最終層出力に対する損失の勾配)と隠れ層活性化との間の直交原理を導入することにより、その基礎を一般化する。 この単一原則は、クロスエントロピー、ブレグマンの発散、適切なスコアリングルール、指数負の負の対数類似性を含む、標準的な差別化可能な家族間での放送ベースのクレジット割り当てを統一する。 この枠組みは、一般に損失を受ける3要素学習規則の理論的根拠を提供し、放送損失スコアとして導かれる神経調節因子を提供する。 我々は,クロスエントロピーの事例を明示的に導き,許容損失クラスを特徴付けるとともに,直交的枠組みを維持しながら放送信号を強化するスコアベクトル展開手法を導入する。 CIFAR-10 と Tiny ImageNet の実験により、SBD は既存の放送方式よりも大幅に改善され、スコアベクトル展開によりさらなる利得が得られることが示された。 全体として、この研究は、損失スコアを放送の信号として識別し、神経科学からの3要素学習規則の直交理論と理論的根拠を提供し、スコアベクトル展開が結果のデコリレーション方向をどのように強化するかを示す。

関連論文リスト

• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Importance-Guided Basis Selection for Low-Rank Decomposition of Large Language Models [9.690793619550654]
  本稿では,BSI(Basis Selection with Importance)について紹介する。 我々は,Hutchinsonランダム化探索法を適用し,対称なパラメータ摂動による曲率の減少に適応して,効率的なヘシアン対角推定器を開発した。 本稿では, ベースプルーニングによる損失増加境界, ヘッセン対角線推定誤差のこれらの境界への明示的伝播, ヘッセンスペクトルに関連付けられた分散特性, 目標推定精度を達成するための高確率サンプル-複雑度保証, 摂動強度のガイダンスなど, 包括的な理論的解析を行う。
  論文  参考訳（メタデータ） (2026-05-02T22:35:02Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Risk-Entropic Flow Matching [0.0]
  対数指数変換をベース損失に適用することで得られる(エントロピー的な)リスクは、統計学や機械学習において確立されたツールである。 本研究では, 標準リスク感度変換(log-exponential)を条件FM損失に適用し, 結果の傾きリスク損失が有意な条件FM目標上の自然上界であることを示す。
  論文  参考訳（メタデータ） (2025-11-28T00:37:37Z)
• Error Broadcast and Decorrelation as a Potential Artificial and Natural Learning Mechanism [38.19776371710009]
  本稿では,ニューラルネットワークの新しい学習フレームワークであるError Broadcast and Decorrelation(EBD)を紹介する。 EBDは個々のレイヤに直接出力エラーを送信することで、クレジットの割り当てに対処する。 我々の研究は、EBDをニューラルネットワークトレーニングの効率よく、生物学的に妥当で、原則的に代替するものとして確立した。
  論文  参考訳（メタデータ） (2025-04-15T19:00:53Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。