論文の概要: The Nature of Mathematical Modeling and Probabilistic Optimization Engineering in Generative AI

• arxiv url: http://arxiv.org/abs/2410.18441v1
• Date: Thu, 24 Oct 2024 05:29:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:07.961397
• Title: The Nature of Mathematical Modeling and Probabilistic Optimization Engineering in Generative AI
• Title（参考訳）: 生成AIにおける数学的モデリングと確率論的最適化エンジニアリングの性質
• Authors: Fulu Li,
• Abstract要約: 我々は、生成AIモデルのいくつかの重要な基盤技術に対して、アート手法の現在の状況に対するさらなる拡張の可能性を探究し、議論する。 特に、バイトペア符号化(BPE)アルゴリズムと同様の初期設定に基づくサブワード符号化(SWE)の最適解を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we give an in-depth analysis on the mathematical problem formulations and the probabilistic optimization explorations for some of the key components in Transformer model [33] in the field of generative AI. We explore and discuss some potential further enhancement for current state of the art methods for some key underlying technologies of generative AI models from algorithmic and probabilistic optimization perspective. In particular, we present an optimal solution for sub-word encoding (SWE) based on similar initial settings as that of byte-pair encoding (BPE) algorithm in [9] with similar objectives as that of WordPiece approach in [28, 31] to maximize the likelihood of the training data. We also present cross entropy optimization method to optimize hyperparameters for word2vec model [17]. In addition, we propose a factored combination of rotary positional encoding (RoPE) [32] and attention with linear biases (ALiBi) [23] with a harmonic series. We also present a probabilistic FlashAttention [6, 7] (PrFlashAttention) method with a probability distribution over block distances in the matrix to decide which block is likely to participate in a given round of attention computation while maintaining the lower triangle shape of the tensor for autoregressive language models by re-shaping the tensors. Finally, we present staircase adaptive quantization (SAQ) of key-value (KV) cache for multi-query attention (MQA) based on the framework presented in [16] to have gradual quantization degradation while achieving reasonable model quality and cost savings.
• Abstract（参考訳）: 本稿では, 生成AI分野におけるトランスフォーマーモデル[33]におけるいくつかの重要な要素について, 数学的問題定式化と確率論的最適化について, 詳細な解析を行う。 我々は、アルゴリズム的および確率的最適化の観点から、生成AIモデルのいくつかの重要な基盤技術に対して、現在の最先端手法のさらなる拡張の可能性を探究し、議論する。 特に,[28, 31] の WordPiece アプローチと同様の目的を持つ [9] のバイトペア符号化 (BPE) アルゴリズムと同じような初期設定に基づくサブワード符号化 (SWE) の最適解を提案する。 また, word2vec モデル [17] のハイパーパラメータを最適化するためのクロスエントロピー最適化手法を提案する。 さらに、回転位置符号化(RoPE)[32]と、線形バイアス(ALiBi)[23]と調和級数との因子結合を提案する。 また,確率的FlashAttention [6, 7] (PrFlashAttention) 法を行列内のブロック距離の確率分布で提案し,テンソルを再構成することで,テンソルに対するテンソルの下方三角形を保ちながら,どのブロックが所定の注意計算に参加するかを決定する。 最後に、[16]に提示されたフレームワークに基づいて、キー値(KV)キャッシュの段階的適応量子化(SAQ)を行い、適切なモデル品質とコスト削減を実現しつつ、段階的な量子化劣化を実現する。

関連論文リスト

• Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
  学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。 提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
  論文  参考訳（メタデータ） (2024-09-14T00:39:37Z)
• The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
  本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
  論文  参考訳（メタデータ） (2024-07-30T17:03:19Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Data-Driven Optimization of Directed Information over Discrete Alphabets [15.372626012233736]
  方向性情報(DI)は、逐次解析モデルの研究と分析のための基本的な尺度である。 離散入力空間上でのDIのための新しい推定最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-02T12:25:40Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification [0.0]
  本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。 本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。 また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
  論文  参考訳（メタデータ） (2020-08-27T09:15:02Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。