論文の概要: Algebraic Positional Encodings
- arxiv url: http://arxiv.org/abs/2312.16045v1
- Date: Tue, 26 Dec 2023 13:17:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:15:02.813374
- Title: Algebraic Positional Encodings
- Title(参考訳): 代数的位置符号化
- Authors: Konstantinos Kogkalidis, Jean-Philippe Bernardy, Vikas Garg
- Abstract要約: 本稿では,トランスフォーマー型モデルに対して,既存のアドホックなアプローチの欠点に対処する新たな位置符号化方式を提案する。
我々は,本手法の実用性を示す一連の実験を行った。
結果は、現在の最先端に匹敵するパフォーマンスを示唆している。
- 参考スコア(独自算出の注目度): 7.976919956596063
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce a novel positional encoding strategy for Transformer-style
models, addressing the shortcomings of existing, often ad hoc, approaches. Our
framework provides a flexible mapping from the algebraic specification of a
domain to an interpretation as orthogonal operators. This design preserves the
algebraic characteristics of the source domain, ensuring that the model upholds
the desired structural properties. Our scheme can accommodate various
structures, including sequences, grids and trees, as well as their
compositions. We conduct a series of experiments to demonstrate the practical
applicability of our approach. Results suggest performance on par with or
surpassing the current state-of-the-art, without hyperparameter optimizations
or ``task search'' of any kind. Code will be made available at
\url{github.com/konstantinosKokos/UnitaryPE}.
- Abstract(参考訳): 本稿では,既存のアドホックな手法の欠点に対処し,トランスフォーマー方式の新たな位置符号化方式を提案する。
我々のフレームワークは、ドメインの代数的仕様から直交作用素としての解釈への柔軟なマッピングを提供する。
この設計はソースドメインの代数的特性を保ち、モデルが所望の構造的特性を確実に保持する。
提案手法は, 配列, グリッド, ツリー, およびそれらの構成を含む様々な構造に対応できる。
我々は,本手法の実用性を示す一連の実験を行った。
結果は、ハイパーパラメータ最適化や‘task search’を使わずに、現在の最先端に匹敵するパフォーマンスを示唆している。
コードは \url{github.com/konstantinosKokos/UnitaryPE} で利用可能になる。
関連論文リスト
- HCVP: Leveraging Hierarchical Contrastive Visual Prompt for Domain
Generalization [69.33162366130887]
ドメイン一般化(DG)は、不変の機能を学ぶことによって、目に見えないシナリオに優れた機械学習モデルを作成するための取り組みである。
モデルにドメインレベルとタスク固有の特性を補足する新しい手法を提案する。
このアプローチは、特定の特徴から不変な特徴をより効果的に分離し、一般化を促進することを目的としている。
論文 参考訳(メタデータ) (2024-01-18T04:23:21Z) - Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational
AutoEncoders [5.037881619912574]
本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。
具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。
我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
論文 参考訳(メタデータ) (2023-11-14T22:47:23Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳(メタデータ) (2021-12-03T06:41:19Z) - Symmetric Spaces for Graph Embeddings: A Finsler-Riemannian Approach [7.752212921476838]
表現学習における対称空間の体系的利用を提案する。
本研究では,組込み解析ツールを開発し,データセットの構造的特性を推定する。
提案手法は, 各種合成および実世界のデータセット上でのグラフ再構成タスクにおいて, 競合的ベースラインよりも優れる。
論文 参考訳(メタデータ) (2021-06-09T09:33:33Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - NOVAS: Non-convex Optimization via Adaptive Stochastic Search for
End-to-End Learning and Control [22.120942106939122]
本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。
我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
論文 参考訳(メタデータ) (2020-06-22T03:40:36Z) - Structure by Architecture: Structured Representations without
Regularization [31.75200752252397]
生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。
我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。
これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
論文 参考訳(メタデータ) (2020-06-14T04:37:08Z) - Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。
我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
論文 参考訳(メタデータ) (2020-01-23T02:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。