論文の概要: Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

• arxiv url: http://arxiv.org/abs/2604.25143v1
• Date: Tue, 28 Apr 2026 02:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.677226
• Title: Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories
• Title（参考訳）: オプティマイザ軌道に隠れたリニア・セントロイド結合の勾配方向感度
• Abstract要約: 本稿では,AdamW更新の転がりSVDを転がりSVDの損失勾配に置き換えることにより,診断精度が1～2桁に変化することを示す。 SVDをAdamW更新ではなく損失勾配で実行すると、SED方向とLCH(Linear Centroid hypothesis)特徴との摂動結合が増大する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that replacing the rolling SVD of AdamW updates with a rolling SVD of loss gradients changes the diagnostic by 1-2 orders of magnitude. Performing SVD on the loss gradient instead of the AdamW update increases the measured perturbative coupling between SED directions and Linear Centroid Hypothesis (LCH) features from $ \bar{R}_k \approx 3 $--$9\times$ to $100$--$330\times$ across four single-task modular arithmetic operations, eliminating the apparent operation dependence in the original measurement. On a multitask transformer with a shared encoder, update-based SED gives $ \bar{R}_k \leq 1 $ -- an apparent failure of the diagnostic -- while per-operation gradient-based SED recovers $ \bar{R}_k = 20 $--$45\times$ across all four operations. Gradient aggregation across competing tasks is the main obstruction; performing SVD on per-task gradients resolves it. A causal intervention shows that constraining attention updates to any rank-3 subspace (whether SED-derived or random) accelerates grokking by approximately $2.3\times$ across random seeds and operations, while removing the rank-3 component has negligible effect under proper gradient-projection methodology. The SED-LCH coupling is therefore a strong diagnostic of where feature formation concentrates in parameter space, but it is not a unique causal pathway: the natural full-rank AdamW attention update is highly rank-redundant under our hyperparameters.
• Abstract（参考訳）: 本稿では,AdamW更新の転がりSVDを転がりSVDの損失勾配に置き換えることにより,診断精度が1～2桁に変化することを示す。 AdamW の更新ではなく、損失勾配で SVD を実行すると、SED 方向と線形セントロイド仮説 (LCH) 特徴量の測定摂動結合は、$ \bar{R}_k \approx 3 $--$9\times$から$100$-$330\times$ の4つの単一タスクのモジュラー演算にまたがって行われる。 共有エンコーダを備えたマルチタスクトランスフォーマーでは、更新ベースのSEDが$ \bar{R}_k \leq 1 $ -- 診断の明らかな失敗 -- を与え、操作単位の勾配ベースのSEDは、すべての4つの操作で$ \bar{R}_k = 20 $--$45\times$を回復する。 競合するタスク間のグラディエントアグリゲーションが主な障害であり、タスク毎の勾配でSVDを実行することで解決される。 因果的介入は、任意のランク3部分空間(SED由来かランダム由来かにかかわらず)への注意の更新が、ランダムな種と操作をまたいで約2.3\times$でグルーキングを加速し、ランク3成分を除去することは、適切な勾配射影法の下で無視できる効果を持つことを示している。 したがって、SED-LCH結合はパラメータ空間に特徴形成が集中する場所の強力な診断であるが、これはユニークな因果経路ではない。

関連論文リスト

• Gradient-Based Latent Decomposition Reveals Mechanisms of Feature Degradation in Weakly Supervised Mammography [0.0]
  弱教師付き階層モデルは永続的な非対称性を示す。 粗い病変型の特徴は再建時に保存され, 微粒な悪性度は低下する。 高次元空間では、1つの粗いスーパーバイザー信号が1次元の遅延方向のみを分離し、臨界きめ細かい特徴を弱い残留部分空間に強制する。
  論文  参考訳（メタデータ） (2026-07-24T01:04:07Z)
• The Lie We Tell: Correcting the Euclidean Fallacy in Vision Language Action Policies via Score Matching on Tangent Space [19.950575615573978]
  本報告では,SE(3)を内在的に運用する拡散フレームワークを提案する。 本手法は,左不変SDEを用いてノイズを注入し,空間接点のスコアを予測し,指数写像を用いてサンプルを抽出する。 CALVIN ABC$rightarrow$Dでは、平均タスク長が$3.27$から$3.51$+7.3%$に改善されている。
  論文  参考訳（メタデータ） (2026-06-01T07:59:29Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
  我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。 本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。 具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
  論文  参考訳（メタデータ） (2026-05-07T10:24:27Z)
• SA-CycleGAN-2.5D: Self-Attention CycleGAN with Tri-Planar Context for Multi-Site MRI Harmonization [3.5109108807229403]
  本稿では,Ben-David らによる$HH$-divergence 境界によるドメイン適応フレームワーク SA-CycleGAN-2.5D を提案する。 2D効率と3D一貫性をブリッジすることで,腫瘍の病態を保ったボクセルレベルの高調波画像が得られる。
  論文  参考訳（メタデータ） (2026-03-17T23:49:46Z)
• OrthoAI v2: From Single-Agent Segmentation to Dual-Agent Treatment Planning for Clear Aligners [0.0]
  私たちは、AI支援矯正治療計画のためのオープンソースのパイプラインの2番目のイテレーションであるOrthoAI v2を紹介します。 v2は3つの主要な貢献を通じて 3つの制限に対処します 200のクラウドシナリオの合成ベンチマークで、OrthoAI v2の並列アンサンブルは、計画品質スコアが92.8 pm 4.1$対76.4 pm 8.3$に達し、OrthoAI v1は+21%$相対的ゲインとなり、完全なCPUデプロイ可能性(4.2 pm 0.8$s)を維持した。
  論文  参考訳（メタデータ） (2026-03-10T13:03:44Z)
• GST-VLA: Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models [6.2676602262188625]
  VLAモデルは、内在的な幾何学構造を持たない2次元パッチトークンとして視覚観察を符号化する。 GST-VLAを2つのコントリビューションで紹介する。 第一に、ガウス空間Tokenizer (GST) は凍った深度と凍ったセマンティックパッチの特徴を3Dプリミティブに変換する。 第二に、DA-CoT推論は4つの構造化された中間空間的思考を監督する。
  論文  参考訳（メタデータ） (2026-03-10T01:39:38Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Swin UNETR++: Advancing Transformer-Based Dense Dose Prediction Towards Fully Automated Radiation Oncology Treatments [0.0]
  本稿では,DCAモジュールを内蔵したSwin UNETR++を提案する。 私たちのモデルは、Open Knowledge-Based Planningデータセットでトレーニングされ、検証され、テストされました。
  論文  参考訳（メタデータ） (2023-11-11T13:52:59Z)
• Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a Decoupled Decoder [0.553073476964056]
  VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。 本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。 本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
  論文  参考訳（メタデータ） (2022-09-29T13:49:57Z)
• Detecting Rotated Objects as Gaussian Distributions and Its 3-D Generalization [81.29406957201458]
  既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。 このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。 回転した物体をガウス分布としてモデル化することを提案する。 2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
  論文  参考訳（メタデータ） (2022-09-22T07:50:48Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• Removing Data Heterogeneity Influence Enhances Network Topology Dependence of Decentralized SGD [15.112499553818953]
  D$2$/Exact-diffusionアルゴリズムの非同相収束特性について検討する。 既存の分散アルゴリズムと比較して、D$2$/Exact-diffusionはネットワークトポロジに最も敏感です。
  論文  参考訳（メタデータ） (2021-05-17T17:16:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。