Fugu-MT 論文翻訳(概要): On Dimension-Free Transformer: An Application of STP to AI

論文の概要: On Dimension-Free Transformer: An Application of STP to AI

arxiv url: http://arxiv.org/abs/2504.14514v1
Date: Sun, 20 Apr 2025 07:19:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-30 00:05:00.722392
Title: On Dimension-Free Transformer: An Application of STP to AI
Title（参考訳）: 次元自由変換器について:STPのAIへの応用
Authors: Daizhan Cheng,
Abstract要約: 次元自由変換器(DFT)の枠組みを提案する。すべてのエントリに関するバランスの取れた情報を使用することで、DFTは信号を扱う上でより効率的でなければならない。
参考スコア（独自算出の注目度）: 1.9580473532948401
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The matrix expressions for every parts of a transformer are firstly described. Based on semi-tensor product (STP) of matrices the hypervectors are reconsidered and the linear transformation over hypervectors is constructed by using projection. Its properties and calculating formulas are obtained. Using projection-based transformation of hypervector (PBTH), the framework of dimension-free transformer (DFT) is proposed by verifying each linear transformation in a transformer and replacing it by a proper PBTH, which allows the inputs and outputs being of arbitrary dimensions. Using balanced information about all entries, DFT must be more efficient in dealing with signals.
Abstract（参考訳）: 変換器の各部分に対する行列式をまず記述する。行列の半テンソル積(STP)に基づいて超ベクトルを再考し、射影を用いて超ベクトル上の線形変換を構築する。その性質と計算式が得られます。超ベクトルの射影型変換(PBTH)を用いて、各線形変換を変圧器で検証し、それを適切なPBTHで置き換えることで、任意の次元の入力と出力を可能にするDFT(Derial-free transformer)の枠組みを提案する。すべてのエントリに関するバランスの取れた情報を使用することで、DFTは信号を扱う上でより効率的でなければならない。

関連論文リスト

Multiple Invertible and Partial-Equivariant Function for Latent Vector Transformation to Enhance Disentanglement in VAEs [2.048226951354646]
帰納的バイアスを注入するために,Multiple Invertible and partial-equivariant transformation (MIPE-transformation) と呼ばれる新しい手法を提案する。 3Dカー、3D形状、dSpritesデータセットの実験では、MIPE変換は最先端のVAEのアンタングル性能を改善する。
論文参考訳（メタデータ） (2025-02-06T03:08:12Z)
Adaptive Pruning of Pretrained Transformer via Differential Inclusions [48.47890215458465]
現在の圧縮アルゴリズムは一定の圧縮比でプルーーン変換器であり、各比に対して独自のプルーニングプロセスを必要とする。本研究では,マスクパラメータの差分包摂性に基づいて,事前学習した変圧器を1つのプルーニング段階内において任意の所望の比率でプルーニングすることを提案する。このダイナミクスは、ネットワーク構造を識別するサポートセットを持つマスクパラメータの全体正規化ソリューションパスを生成することができる。
論文参考訳（メタデータ） (2025-01-06T06:34:52Z)
Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
論文参考訳（メタデータ） (2024-11-24T13:00:44Z)
Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
一般的な戦略である。事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
論文参考訳（メタデータ） (2024-10-30T12:08:30Z)
Graph Transformers Dream of Electric Flow [72.06286909236827]
グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。提案手法は,各アルゴリズムを実装するための明示的な重み設定を示し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。我々の研究は、グラフデータのためのTransformerの内部処理を解明するための最初のステップです。
論文参考訳（メタデータ） (2024-10-22T05:11:45Z)
Higher-Order Transformer Derivative Estimates for Explicit Pathwise Learning Guarantees [9.305677878388664]
本稿では, 変圧器モデルに対するすべての順序の高階微分を正確に推定することにより, 文献のギャップを埋める。我々は,注目ヘッド数,各変圧器ブロックの深さと幅,正規化層数の観点から,すべての定数の完全明示的な推定値を得る。実世界のトランスフォーマーは、1つのマルコフ過程の軌道のサンプルから$O(operatornamepolylog(N/sqrtN)$で学習することができる。
論文参考訳（メタデータ） (2024-05-26T13:19:32Z)
Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
論文参考訳（メタデータ） (2023-05-30T02:44:49Z)
Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文参考訳（メタデータ） (2021-06-04T04:04:10Z)
An Integer Approximation Method for Discrete Sinusoidal Transforms [0.0]
本稿では,離散フーリエ,ハートレー,コサイン変換(DFT,DHT,DCT)の整数変換のクラスを提案し,解析する。提案手法は一般にいくつかのブロック長に適用できるが、既存の手法は通常、特定の変換サイズに特化している。 DFT, DHT, DCTに対する新しい8点2乗波近似変換も, 提案手法の特別な場合として導入されている。
論文参考訳（メタデータ） (2020-07-05T03:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。