論文の概要: Trust Your Targets: Is Target Propagation Block-Diagonal Gauss-Newton?

• arxiv url: http://arxiv.org/abs/2610.26283v1
• Date: Mon, 19 Oct 2026 12:37:47 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:42:22.18602
• Title: Trust Your Targets: Is Target Propagation Block-Diagonal Gauss-Newton?
• Title（参考訳）: ターゲットを信頼する:ターゲットはブロック対角のガウスニュートンか?
• Abstract要約: ターゲット伝搬(Target propagation、TP)は、局所的なターゲットがグローバルな学習信号を伝達するバックプロパゲーションの代替手段である。 本稿では、暗黙的、未検討の規範の下で、信頼領域からTPをリフレッシュし、CGTPを導入する。 MNIST と Fashion-MNIST では、CGTP は ADAM と KFAC の精度と一致し、ADAM よりも桁違いに少ないオーダーを必要とする。
• 参考スコア（独自算出の注目度）: 0.1818218650743265
• License:
• Abstract: Target propagation (TP) is a backpropagation alternative in which local targets carry the global learning signal. Prior works claim that TP performs Gauss-Newton (GN) optimisation on these targets, but the correspondence has only been established under unrealistic assumptions where hitting them exactly is trivial. Practical variants instead descend on a least-squares problem via a single gradient step. In this paper, we rederive TP from a trust region under an implicit, previously unexamined norm, and introduce CGTP (Conjugate Gradient Target Propagation), which uses conjugate gradients to solve the layer-local subproblems in parallel. A single adaptive parameter jointly controls this trust region and a matching bound on the weight update; KFAC emerges exactly as the special case where the per-sample Jacobians are replaced by their batch mean, giving its factored damping a variational grounding. On MNIST and Fashion-MNIST MLPs, CGTP matches the accuracy of ADAM and KFAC while needing orders of magnitude fewer outer iterations than ADAM (about 10x fewer backward-pass-equivalents overall), while remaining stable across depth.
• Abstract（参考訳）: ターゲット伝搬(Target propagation、TP)は、局所的なターゲットがグローバルな学習信号を伝達するバックプロパゲーションの代替手段である。 先行研究は、TPがこれらの目標に対してガウスニュートン (GN) の最適化を行うと主張しているが、その対応は、それらを正確に打つことが自明な非現実的な仮定の下でのみ確立されている。 実際の変種は、代わりに1つの勾配ステップを通じて最小二乗問題に従属する。 本稿では、暗黙的、未検討の規範の下で信頼領域からTPをリフレッシュし、共役勾配を用いたCGTP(Conjugate Gradient Target Propagation)を導入し、層局所的なサブプロブレムを並列に解く。 KFACは、サンプルごとのジャコビアンをバッチ平均に置き換える特別なケースとして出現し、その係数が変動グラウンドを減衰させる。 MNIST と Fashion-MNIST MLP では、CGTP は ADAM と KFAC の精度に匹敵するが、ADAM よりも桁違いに少ない外装 (全体の後方通過等価値の約10倍) を必要とする。

関連論文リスト

• Projective Normal Fields: A Convex Optimization Method for Constructing Smooth UDFs [68.08537394769392]
  本稿では,原点雲からの距離場(UDF)の滑らかな近似を構築するためのフレームワークを提案する。 局所幾何推定をスカラーフィールド構造から分離することにより、PNFは非微分可能なUDFを直接適合させない。
  論文  参考訳（メタデータ） (2026-09-28T09:55:50Z)
• Domain Adaptation with Target Information via Doubly-Anchored Distributionally Robust Optimization [0.0]
  ドメイン適応(DA)は最悪のケースの保証を欠くことが多いが、ソースデータのみに基づく分散ロバスト最適化(DRO)は利用可能なターゲット構造を無視している。 本稿では、ソース法を中心とする$$-divergence Ballsとソース完備なターゲット参照法とを両立させるDROフレームワークを提案する。 我々は、対称および非対称な発散ペアリングのための二重誘導対角橋のジオメトリを導出する。
  論文  参考訳（メタデータ） (2026-09-26T15:49:01Z)
• From Non-Convex Self-Concordant Regularization to Scalable Quasi-Newton Training of PINNs [10.223108587188808]
  SCOREは、PINNトレーニングのためのデクリメント結合シフトセカント幾何を持つ自己一致型準ニュートン法である。 その区別機構は、学習された逆計量から計算された1つの準ニュートンデクリメントが強いウルフテストされた候補ステップを共同で決定することである。 バーガース、倉本-シヴァシンスキー、コルテヴェーグ-ド・フリーズ、複雑なギンズブルグ-ランダウ方程式の実験は、SCOREが試験されたBFGSや自己スケールのブロイデン基底線よりも低い最終誤差を達成していることを示している。
  論文  参考訳（メタデータ） (2026-08-04T20:05:21Z)
• ITSPACE: Monotone Gaussian Optimal Transport Updates [0.04687712818521871]
  共分散行列は、ドメイン適応やガウス埋め込みを含む多くの機械学習パイプラインにおける特徴分布のコンパクト記述子として機能する。 平方根分解における閉形式更新により,この正確なBW目標を直接最適化する最大化最小化手法であるITSPACEを提案する。 厳密な算術では、それぞれがBW目標に対する十分な減少不等式を満たすが、不正確な極性計算では、正確な降下から逸脱を制御する明示的な証明ギャップ境界が提供される。
  論文  参考訳（メタデータ） (2026-06-29T16:29:19Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• TILT: Target-induced loss tilting under covariate shift [14.526961596109361]
  我々は、教師なしドメイン適応のためのTarget-induced Loss Tilting(TILT)を紹介し、分析する。 ソース予測を$f+b$として分解する新しい客観的関数に基づいて、ラベル付きソースデータに$f+b$を適合させ、同時にラベルなしターゲット入力に補助コンポーネント$b$をペナル化する。 この標的側のペナルティは、人口レベルでの相対的な重み付けを暗黙的に引き起こすが、推定値として$b*_f$は、現在の誤差に自己局所化され、任意のソース・ターゲット対に対して均一に拘束される。
  論文  参考訳（メタデータ） (2026-05-14T02:26:34Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• Semantic Tube Prediction: Beating LLM Data Efficiency with JEPA [50.494504099850325]
  我々は、トークン列が滑らかな意味多様体上の測地線を辿り、従って局所線型であることを示す測地論仮説を導入する。 本稿では,この制約により信号対雑音比が向上し,軌道中の衝突を防止することにより多様性が保たれることを示す。 幾何学的先行性は、ブルートフォーススケーリングを超越できることを実証する。
  論文  参考訳（メタデータ） (2026-02-26T04:45:07Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。