論文の概要: Conditioned Direct Feedback Alignment via Activity and Error Geometry
- arxiv url: http://arxiv.org/abs/2607.18574v1
- Date: Mon, 20 Jul 2026 23:15:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.27101
- Title: Conditioned Direct Feedback Alignment via Activity and Error Geometry
- Title（参考訳）: 動作と誤差幾何学による条件付き直接フィードバックアライメント
- Abstract要約: 直接フィードバックアライメント(DFA)は、バックプロパゲーション(BP)の過渡重みを回避し、出力誤差のランダムなランダムな投射で隠れた層を訓練する。
フィードバック品質とは異なるDFAトレーニングの障害モードについて検討する。
- 参考スコア（独自算出の注目度）: 0.764671395172401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Direct feedback alignment (DFA) trains hidden layers with fixed random projections of the output error, avoiding the transposed-weight backward pass of backpropagation (BP). We study a failure mode of DFA training that is distinct from feedback quality: the local weight update is calculated by an outer product, so anisotropy can enter through either its presynaptic-activity factor or its local-error factor. Our analyses with controlled synthetic regimes isolate the first failure mode and show an approximately 40-percentage-point activity-conditioning gain when high-variance directions contain task-irrelevant nuisance. Three clean confirmations isolate a different regime: error conditioning improves raw DFA by 1.77--7.53 percentage points, and combining independently selected activity and error factors adds 0.40--0.90 points over activity conditioning. The signs hold for tanh/one-vs-rest MNIST and preregistered Fashion-MNIST, and replicate on eight fresh seeds in a ReLU/softmax MNIST model. This factorization yields a symmetric block-local family of normalized DFA (nDFA): activity nDFA right-preconditions by an inverse activity second moment, error nDFA left-preconditions by an inverse local-error second moment, and K-nDFA applies both factors with separately tuned damping. A linearized post-alignment calculation gives an exact input-side spectral identity and a Kronecker-factor motivation for the two-sided rule, whereas norm matching rules out a scalar step-size explanation. The error factor is fragile when under-damped, BatchNorm is a strong activity-side alternative, and convnet gains remain partial. We therefore frame conditioned DFA as a factor-level study of when local outer-product rules fail, not as a general replacement for BP or a solution to all-layer convolutional credit assignment.
- Abstract（参考訳）: 直接フィードバックアライメント(DFA)は、バックプロパゲーション(BP)のトランスポーズウェイトな後方通過を避けるために、出力エラーのランダムなランダムなプロジェクションで隠れた層を訓練する。
局所的な重量更新は外積によって計算されるので、異方性はそのシナプス前活性因子または局所的エラー因子を介して入力することができる。
制御された合成体制を用いた分析では,タスク非関連ニュアンスを含む場合,第1次故障モードを分離し,約40%のアクティビティ条件ゲインを示す。
エラーコンディショニングは生のDFAを1.77-7.53ポイント改善し、独立した選択されたアクティビティとエラー要因を組み合わせることで、アクティビティコンディショニングの0.40-0.90ポイントが加算される。
この記号は、Tanh/one-vs-rest MNISTとFashion-MNISTを登録し、ReLU/softmax MNISTモデルで8つの新鮮な種子に複製する。
この因子化は、正常化DFA(nDFA)の対称的ブロック局所ファミリーを生じる:逆活性第二モーメントによる活性nDFA右条件、逆局所エラー第二モーメントによる誤差nDFA左条件、およびK-nDFAは、個別に調整された減衰を伴う両方の要因を適用する。
線形化後のアライメント計算では、入力側スペクトルの正確な同一性と、両側ルールに対するKronecker-factorのモチベーションが与えられ、一方ノルムマッチングはスカラーステップサイズの説明を出力する。
BatchNormは強力なアクティビティサイドの代替であり、convnetのゲインは部分的である。
そこで我々はDFAを,BPの汎用的な置換や全層畳み込み型クレジット代入のソリューションとしてではなく,局所的外積規則が失敗する要因として定式化した。
関連論文リスト
- Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳（メタデータ） (2026-09-15T11:19:03Z) - IFW-BLS: Dual-Robust Broad Learning System with Intuitionistic Fuzzy Wave Loss [7.2201008524483585]
ブロードラーニングシステムは、特徴ノードと拡張ノードを通じてネットワーク幅を拡大する効率的なランダム化学習モデルである。
しかし、その標準の最小二乗訓練は、2つの異なる方法で脆弱である: (i) ノイズ、外れ値、または破損したラベルによって引き起こされる大きな残留物が目的を支配でき、 (ii) 全てのサンプルは、曖昧または局所的に矛盾している地域にある場合でも、等しく信頼できるものとして扱われる。
本稿では,直観的ファジィウェーブブロードラーニングシステムIFW-BLSを提案する。
論文 参考訳（メタデータ） (2026-09-02T10:42:24Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳（メタデータ） (2026-08-04T04:30:02Z) - An Adjoint-Sensitivity Framework for Lost-in-the-Middle Phenomena in Causal Residual Transformers [1.4180331276028662]
我々は, 因果残差変換器における位置影響に対する随伴感度フレームワークを開発した。
我々は、独立にチェック可能なエネルギー、相関、および局所チャネル境界の下で境界の利点を述べる。
論文 参考訳（メタデータ） (2026-07-20T08:44:31Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks [20.760754362327933]
本稿では、二項分類を超えて誤差拡散を拡張するためのモジュロエラールーティングを提案する。
本手法で訓練したデュアルストリーム興奮抑制アーキテクチャは,MNISTの96.7%を達成している。
強化学習では,EDをPPO(Proximal Policy Optimization)と統合し,Google BraxとCraftaxの継続的制御タスクで評価する。
論文 参考訳（メタデータ） (2026-06-30T14:09:40Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。
制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。
GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
論文 参考訳（メタデータ） (2026-06-18T08:43:33Z) - When Hard Negatives Hurt: Bridging the Generative-Discriminative Gap in Hard Negative Synthesis for Retrieval [45.5843471557695]
比較学習に生成した負を鼻で組み込むことは、検索性能を劣化させることが多いことを示す。
本分析では, 識別非依存型生成とソース依存型ショートカットの2つの複合的障害モードを明らかにした。
このギャップを埋めるために、2つの主加群からなるCausalNegを提案する。
論文 参考訳（メタデータ） (2026-05-31T15:48:30Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - Beyond Behavioural Trade-Offs: Mechanistic Tracing of Pain-Pleasure Decisions in an LLM [0.0]
以前の研究は、一部のLCMは、選択肢が痛みや快楽を引き起こすものとしてフレーム化されているときに選択を変更でき、そのような偏差は、記述された強度でスケール可能であることを示唆している。
本研究では, 変圧器内における原子価関連情報がどのように表現され, どこで因果的に使用されるかを検討する。
Gemma-2-9B-itと、前処理をモデルとした最小限の決定タスクを用いて、(i)ストリームを横断する層ワイドな線形プローブを用いて、表現の可用性をマップする。
我々は,活性化介入(ステアリング,パッチ,アブレーション)による因果的寄与を検証し,(iii)エプシロングリッド上での線量応答効果を定量化する。
論文 参考訳（メタデータ） (2026-02-22T12:42:38Z) - MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。
我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。
MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
論文 参考訳（メタデータ） (2026-02-04T09:14:09Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。