論文の概要: Randomized Geometric Algebra Methods for Convex Neural Networks

• arxiv url: http://arxiv.org/abs/2406.02806v1
• Date: Tue, 4 Jun 2024 22:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 22:37:23.690169
• Title: Randomized Geometric Algebra Methods for Convex Neural Networks
• Title（参考訳）: 凸ニューラルネットワークのためのランダム化幾何代数法
• Authors: Yifei Wang, Sungyoon Kim, Paul Chu, Indu Subramaniam, Mert Pilanci,
• Abstract要約: 我々はクリフォードの幾何代数にランダム化アルゴリズムを導入し、超複素ベクトル空間にランダム化線形代数を一般化する。 この新しいアプローチは、凸最適化によるグローバル最適性へのニューラルネットワークのトレーニングを含む、機械学習に多くの意味を持つ。
• 参考スコア（独自算出の注目度）: 45.318490912354825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce randomized algorithms to Clifford's Geometric Algebra, generalizing randomized linear algebra to hypercomplex vector spaces. This novel approach has many implications in machine learning, including training neural networks to global optimality via convex optimization. Additionally, we consider fine-tuning large language model (LLM) embeddings as a key application area, exploring the intersection of geometric algebra and modern AI techniques. In particular, we conduct a comparative analysis of the robustness of transfer learning via embeddings, such as OpenAI GPT models and BERT, using traditional methods versus our novel approach based on convex optimization. We test our convex optimization transfer learning method across a variety of case studies, employing different embeddings (GPT-4 and BERT embeddings) and different text classification datasets (IMDb, Amazon Polarity Dataset, and GLUE) with a range of hyperparameter settings. Our results demonstrate that convex optimization and geometric algebra not only enhances the performance of LLMs but also offers a more stable and reliable method of transfer learning via embeddings.
• Abstract（参考訳）: 我々はクリフォードの幾何代数にランダム化アルゴリズムを導入し、超複素ベクトル空間にランダム化線形代数を一般化する。 この新しいアプローチは、凸最適化によるグローバル最適性へのニューラルネットワークのトレーニングを含む、機械学習に多くの意味を持つ。 さらに,幾何代数学と現代AI技術の交わりを探求するため,LLM埋め込みを重要な応用分野として検討する。 特に,従来の手法を用いたOpenAI GPTモデルやBERTなどの埋め込みによる移動学習の堅牢性の比較分析を行い,凸最適化に基づく新しい手法を提案する。 我々は,様々なケーススタディに対して,異なる埋め込み(GPT-4,BERT埋め込み)と異なるテキスト分類データセット(IMDb,Amazon Polarity Dataset,GLUE)を多種多様なハイパーパラメータ設定で適用し,凸最適化伝達学習手法をテストする。 その結果、凸最適化と幾何代数学はLLMの性能を高めるだけでなく、埋め込みによるより安定で信頼性の高い伝達学習法を提供することを示した。

関連論文リスト

• Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
  学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。 提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
  論文  参考訳（メタデータ） (2024-09-14T00:39:37Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold [7.737713458418288]
  ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、様々な悪名高い問題に悩まされている。 本稿では、DLにおける幾何最適化の適用に関する総合的な調査について述べる。 畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何学的最適化の適用について検討する。
  論文  参考訳（メタデータ） (2023-02-16T10:50:15Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• The role of optimization geometry in single neuron learning [12.891722496444036]
  近年,表現型ニューラルネットワークの学習において,最適化アルゴリズムの選択が一般化性能に影響を与えることが実証されている。 幾何学と特徴幾何学の相互作用が、どのようにしてアウト・オブ・サンプレットを導き、性能を向上させるかを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:39:44Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• Geometry, Computation, and Optimality in Stochastic Optimization [24.154336772159745]
  問題幾何学の計算および統計的結果とオンライン最適化について検討する。 制約集合と勾配幾何学に焦点をあてて、どの次法と適応次法が最適(minimax)であるかという問題族を特徴づける。
  論文  参考訳（メタデータ） (2019-09-23T16:14:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。