Fugu-MT 論文翻訳(概要): Lower bounds on transformers with infinite precision

論文の概要: Lower bounds on transformers with infinite precision

arxiv url: http://arxiv.org/abs/2412.20195v1
Date: Sat, 28 Dec 2024 16:09:25 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-31 16:07:50.580117
Title: Lower bounds on transformers with infinite precision
Title（参考訳）: 無限精度の変圧器上の下界
Authors: Alexander Kozachinskiy,
Abstract要約: 一層ソフトマックス変圧器に対する第1下界を無限精度で証明する。我々は、Peng, Narayanan, Papadimitriouが考える関数合成と、Sanford, Hsu, Telgarskyが考えるSUM$$タスクの2つのタスクに対してそうする。
参考スコア（独自算出の注目度）: 55.43220407902113
License:
Abstract: In this note, we use the VC dimension technique to prove the first lower bound against one-layer softmax transformers with infinite precision. We do so for two tasks: function composition, considered by Peng, Narayanan, and Papadimitriou, and the SUM$_2$ task, considered by Sanford, Hsu, and Telgarsky.
Abstract（参考訳）: 本稿では,VC次元法を用いて,一層ソフトマックス変圧器に対する第1下界を無限精度で証明する。我々は、Peng, Narayanan, Papadimitriouが考える関数合成と、Sanford, Hsu, Telgarskyが考えるSUM$_2$タスクの2つのタスクに対してそうする。

関連論文リスト

Increasing transformer token length with a Maximum Entropy Principle Method [0.0]
トランスフォーマーは、処理されたシーケンスの長さに対する二次的依存の計算オーバーヘッドに悩まされる。本稿では, 変圧器の自己回帰長を延ばすトレーニングと推論/生成の中間段階を付加する3つの手法を提案する。
論文参考訳（メタデータ） (2024-08-17T15:47:39Z)
Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
論文参考訳（メタデータ） (2024-02-20T10:11:03Z)
Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
論文参考訳（メタデータ） (2023-08-21T13:03:25Z)
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators? [37.820617032391404]
低ランクの重み付き自己注意層が入力シーケンス全体のコンテキストを完全にキャプチャする能力を持っていることを示す。単層および単頭トランスフォーマーは、有限サンプルに対する記憶能力を持ち、2つのフィードフォワードニューラルネットワークを持つ1つの自己アテンション層からなるトランスフォーマーは、コンパクトドメイン上の連続置換同変関数の普遍近似器である。
論文参考訳（メタデータ） (2023-07-26T08:07:37Z)
Universality and Limitations of Prompt Tuning [65.8354898840308]
トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
論文参考訳（メタデータ） (2023-05-30T06:47:07Z)
Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文参考訳（メタデータ） (2023-04-17T20:59:49Z)
Convex Bounds on the Softmax Function with Applications to Robustness Verification [69.09991317119679]
ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
論文参考訳（メタデータ） (2023-03-03T05:07:02Z)
BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
論文参考訳（メタデータ） (2022-05-25T19:01:54Z)
DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
論文参考訳（メタデータ） (2021-06-01T13:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。