論文の概要: Gradient Boosting within a Single Attention Layer
- arxiv url: http://arxiv.org/abs/2604.03190v1
- Date: Fri, 03 Apr 2026 17:06:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.546304
- Title: Gradient Boosting within a Single Attention Layer
- Title（参考訳）: 単一アテンション層内におけるグラディエントブースティング
- Abstract要約: 一つの注意層内での勾配上昇促進の原理を応用したエンファングラディエントブーストアテンションを導入する。
単一のHopfieldスタイルの更新によって、格納されたパターンサブスペースへの全てのクエリ情報が消去されることを示す。
補正パスの別々の投影は、タキーのツイシングの共有射影アプローチに到達できない残留情報を復元することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer attention computes a single softmax-weighted average over values -- a one-pass estimate that cannot correct its own errors. We introduce \emph{gradient-boosted attention}, which applies the principle of gradient boosting \emph{within} a single attention layer: a second attention pass, with its own learned projections, attends to the prediction error of the first and applies a gated correction. Under a squared reconstruction objective, the construction maps onto Friedman's gradient boosting machine, with each attention pass as a base learner and the per-dimension gate as the shrinkage parameter. We show that a single Hopfield-style update erases all query information orthogonal to the stored-pattern subspace, and that further iteration under local contraction can collapse distinct queries in the same region to the same fixed point. We also show that separate projections for the correction pass can recover residual information inaccessible to the shared-projection approach of Tukey's twicing. On a 10M-token subset of WikiText-103, gradient-boosted attention achieves a test perplexity of $67.9$ compared to $72.2$ for standard attention, $69.6$ for Twicing Attention, and $69.0$ for a parameter-matched wider baseline, with two rounds capturing most of the benefit.
- Abstract（参考訳）: Transformer attentionは、値よりも1つのソフトマックス重み付き平均を計算する。
本稿では,勾配を1つの注意層に高めるという原理を応用した「emph{gradient-boosted attention」を導入し,第2の注意パスを学習した投射とともに第1の予測誤差に適応し,ゲート補正を適用する。
矩形復元目標の下では、建設はフリードマンの勾配昇降機にマップされ、各注意がベース学習者として通過し、各次元ゲートが収縮パラメータとして通過する。
1つのHopfieldスタイルの更新は、格納されたパターンのサブ空間に直交する全てのクエリ情報を消去し、局所的な制約の下でのさらなる反復は、同じ領域の異なるクエリを同じ固定点に分解することを示した。
また、修正パスの別々の投影は、タキーのツイシングの共有射影アプローチに到達できない残余情報を復元できることを示す。
WikiText-103の10万トーケンのサブセットでは、グラデーション付きアテンションは、標準的なアテンションが72.2ドル、ツイシングアテンションが69.6ドル、パラメータマッチングされたより広いベースラインが69.0ドルという、テストの難易度を67.9ドルと達成している。
関連論文リスト
- ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps [1.7403133838762448]
ActMapは、生成時の隠れ状態軌跡を固定された12時間s32times128$の時間統計チャネルに圧縮する表現である。
小型ビジョン変換器としてインスタンス化された軽量分類器は、各マップから推定された正当性確率をミリ秒単位で読み取る。
論文 参考訳（メタデータ） (2026-09-10T13:04:24Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Cut-ViT: Task-Specific Model Pruning via Gram Anchoring Subspace Consistency [71.81785123423516]
そこで本稿では,視覚基盤モデルのプルーニングのためのタスク固有のプルーニングパイプラインであるCut-ViTを提案する。
基底非依存および残留制約は、ネイティブモデルとプルーニングされたDINOv3モデルのグラム部分空間を整列するために採用される。
実験によると、Cut-ViTは1つのA100 GPU上で1分程度必要であり、様々な範囲で作業を行うことができる。
論文 参考訳（メタデータ） (2026-08-28T11:25:36Z) - A Design Space Study of Density Matrix Parameterizations for Diffusion-Based Quantum State Tomography [0.0]
拡散QSTのための密度行列パラメータ化の最初の設計空間について述べる。
2-および3-qubitスケールでの7つのパラメータ化の校正は、エンドツーエンドのトレーニングによって検証され、エンフォメトリ条件だけではエンドツーエンドのパフォーマンスを予測できないことが判明した。
論文 参考訳（メタデータ） (2026-08-10T14:05:36Z) - SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching [30.43836162456455]
内部表現の正規化は効果的な加速器として現れているが、既存の手法は相補的なコストで2つのファミリーに分かれている。
構造について提案する。
Free Affinity Regularization (SPARE) は、中間トークンのペアの親和性とクリーンな潜在性の親和性とを一致させる正規化器である。
ImageNetでは、400Kレートの予算でSiTバックボーンと$256の256$で、SPAREはエンコーダ、ヘッド、パラメータを追加せず、トレーニングメモリはわずか0.08GBである。
論文 参考訳（メタデータ） (2026-08-03T09:50:51Z) - Subtoken Vision Transformer for Fine-grained Recognition [21.033814568458897]
SubViTは、きめ細かい視覚認識のための選択的な画像トークン化手法である。
これは、グローバルコンテキストのオリジナルのトークンシーケンスを保持しながら、複数のサブトークンを持つ識別パッチを表す。
DINOv2の平均新規カテゴリー精度を811.3%から84.7%に改善し、0.50$msの追加遅延と3.4%のFLOPが加わった。
論文 参考訳（メタデータ） (2026-07-10T04:07:23Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Attention Projection Mixing with Exogenous Anchors [0.0]
早期注意投影の層間再利用はデータの効率を向上させるが、構造的な衝突を引き起こす。
この衝突は、内部アンカー設計の隠れた制限であることを示す。
逐次レイヤスタックの外でアンカープロジェクションを学習することで競合を解決するExoFormerを提案する。
論文 参考訳（メタデータ） (2026-01-13T01:52:19Z) - Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds [0.4779196219827507]
本研究では,トランスフォーマーアテンションヘッドにおいて,クロスエントロピートレーニングがアテンションスコアとバリューベクターをいかに再帰させるかを示す。
私たちの中核的な成果は、注目スコアに対する強調に基づくルーティング法です。
この結合された特殊化は、2時間規模のEMプロシージャのように振る舞うことを示す。
論文 参考訳（メタデータ） (2025-12-27T05:31:44Z) - Binary perceptron computational gap -- a parametric fl RDT view [2.538209532048867]
非対称二元パーセプトロン(ABP)は2つの相転移性制約密度閾値を示す。
本稿では, 高速昇降ランダム双対性理論 (fl RDT) [85] のパラメトリック利用について検討し, その可能性について検討する。
論文 参考訳（メタデータ） (2025-11-02T18:23:49Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - Gradient Boosting Mapping for Dimensionality Reduction and Feature Extraction [2.778647101651566]
教師あり学習における根本的な問題は、優れた特徴や距離尺度を見つけることである。
本稿では,弱い学習者の出力が埋め込みを定義する,教師付き次元削減手法を提案する。
組込み座標は教師付き学習タスクにより良い機能を提供することを示す。
論文 参考訳（メタデータ） (2024-05-14T10:23:57Z) - Attention Map Guided Transformer Pruning for Edge Device [98.42178656762114]
視覚トランスフォーマー (ViT) は, 全体的かつ隠蔽された人物再識別 (Re-ID) タスクにおいて, 有望な成功を収めた。
本稿では、冗長なトークンとヘッドの両方を除去する新しいアテンションマップガイド(AMG)トランスフォーマープルーニング法を提案する。
Occluded DukeMTMC と Market-1501 に関する総合的な実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-04-04T01:51:53Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-06-17T10:14:43Z) - Self-Supervised Tuning for Few-Shot Segmentation [82.32143982269892]
Few-shotのセグメンテーションは、アノテートされたサンプルがほとんどない各画像ピクセルにカテゴリラベルを割り当てることを目的としている。
既存のメタラーニング手法では, 画像から抽出した視覚的特徴を埋め込み空間に埋め込むと, カテゴリー別識別記述子の生成に失敗する傾向にある。
本稿では,複数のエピソードにまたがる潜在特徴の分布を,自己分割方式に基づいて動的に調整する適応型フレームワークチューニングを提案する。
論文 参考訳（メタデータ） (2020-04-12T03:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。