論文の概要: Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection
- arxiv url: http://arxiv.org/abs/2410.14581v1
- Date: Fri, 18 Oct 2024 16:32:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:27:21.191090
- Title: Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection
- Title（参考訳）: ミラーディフレッシュによる注意の最適化: 一般化マックスマージントークン選択
- Authors: Aaron Alvarado Kristanto Julistiono, Davoud Ataee Tarzanagh, Navid Azizan,
- Abstract要約: アルゴリズムは、$ell_p$-normの目的を持つハードマージンSVMに収束することを示す。
具体的には、これらのアルゴリズムは、$ell_p$-normの目的を持つ一般化されたハードマージンSVMに収束することを示す。
- 参考スコア（独自算出の注目度）: 6.759148939470332
- License:
- Abstract: Attention mechanisms have revolutionized several domains of artificial intelligence, such as natural language processing and computer vision, by enabling models to selectively focus on relevant parts of the input data. While recent work has characterized the optimization dynamics of gradient descent (GD) in attention-based models and the structural properties of its preferred solutions, less is known about more general optimization algorithms such as mirror descent (MD). In this paper, we investigate the convergence properties and implicit biases of a family of MD algorithms tailored for softmax attention mechanisms, with the potential function chosen as the $p$-th power of the $\ell_p$-norm. Specifically, we show that these algorithms converge in direction to a generalized hard-margin SVM with an $\ell_p$-norm objective when applied to a classification problem using a softmax attention model. Notably, our theoretical results reveal that the convergence rate is comparable to that of traditional GD in simpler models, despite the highly nonlinear and nonconvex nature of the present problem. Additionally, we delve into the joint optimization dynamics of the key-query matrix and the decoder, establishing conditions under which this complex joint optimization converges to their respective hard-margin SVM solutions. Lastly, our numerical experiments on real data demonstrate that MD algorithms improve generalization over standard GD and excel in optimal token selection.
- Abstract（参考訳）: アテンションメカニズムは、自然言語処理やコンピュータビジョンなどの人工知能のいくつかの領域に革命をもたらし、モデルが入力データの関連部分に選択的に集中できるようにする。
最近の研究は、注意に基づくモデルにおける勾配降下(GD)の最適化力学と、その好ましい解の構造的特性を特徴付けているが、ミラー降下(MD)のようなより一般的な最適化アルゴリズムについてはあまり知られていない。
本稿では,ソフトマックスアテンション機構に適したMDアルゴリズム群における収束特性と暗黙バイアスについて検討し,そのポテンシャル関数を$\ell_p$-normの$p$-th Powerとして選択する。
具体的には、これらのアルゴリズムはソフトマックスアテンションモデルを用いて分類問題に適用した場合、$\ell_p$-normの目的を持つ一般化ハードマージンSVMに収束することを示す。
特に、我々の理論的結果は、収束率は、現在の問題の非常に非線形で非凸な性質にもかかわらず、より単純なモデルで従来のGDに匹敵することを示した。
さらに、キークエリ行列とデコーダのジョイント最適化ダイナミクスを探索し、この複雑なジョイント最適化がそれぞれのハードマージンSVMソリューションに収束する条件を確立する。
最後に、実データに関する数値実験により、MDアルゴリズムは標準GDよりも一般化し、最適なトークン選択に優れることを示した。
関連論文リスト
- Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。
本研究ではまず,生成モデルの本質的な特徴について考察する。
本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
論文 参考訳（メタデータ） (2024-11-01T09:05:47Z) - Hyperparameter Estimation for Sparse Bayesian Learning Models [1.0172874946490507]
Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。
本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。
信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
論文 参考訳（メタデータ） (2024-01-04T21:24:01Z) - A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。
このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
論文 参考訳（メタデータ） (2023-02-06T23:34:51Z) - Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。
本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。
我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
論文 参考訳（メタデータ） (2021-12-08T09:24:10Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Heterogeneous Tensor Mixture Models in High Dimensions [5.656785831541303]
我々は,不均質な共分散を持つ柔軟高次元テンソル混合モデルを導入する問題を考える。
本手法は,実パラメータの統計的近傍に幾何学的に収束することを示す。
自閉症スペクトラム障害の診断に重要な脳領域を明らかにする。
論文 参考訳（メタデータ） (2021-04-15T21:06:16Z) - An Online Prediction Approach Based on Incremental Support Vector
Machine for Dynamic Multiobjective Optimization [19.336520152294213]
インクリメンタルサポートベクトルマシン(ISVM)に基づく新しい予測アルゴリズムを提案する。
動的多目的最適化問題(DMOP)の解決をオンライン学習プロセスとして扱う。
提案アルゴリズムは動的多目的最適化問題に効果的に取り組むことができる。
論文 参考訳（メタデータ） (2021-02-24T08:51:23Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳（メタデータ） (2020-10-31T21:35:42Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。