論文の概要: Fast Machine Learning Method with Vector Embedding on Orthonormal Basis
and Spectral Transform
- arxiv url: http://arxiv.org/abs/2310.18424v2
- Date: Mon, 13 Nov 2023 16:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 19:48:16.323090
- Title: Fast Machine Learning Method with Vector Embedding on Orthonormal Basis
and Spectral Transform
- Title(参考訳): 直交基底とスペクトル変換を用いたベクトル埋め込みによる高速機械学習法
- Authors: Louis Yu Lu
- Abstract要約: 本稿では,ユリア語でベクトルデータベースを用いて実装された単語埋め込み,テキストチャンク埋め込み,画像埋め込みの例を示す。
また,本手法を用いた教師なし学習と教師なし学習と,大規模データ量を扱う戦略についても検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel fast machine learning method that leverages two
techniques: Vector Embedding on Orthonormal Basis (VEOB) and Spectral Transform
(ST). The VEOB converts the original data encoding into a vector embedding with
coordinates projected onto orthonormal bases. The Singular Value Decomposition
(SVD) technique is used to calculate the vector basis and projection
coordinates, leading to an enhanced distance measurement in the embedding space
and facilitating data compression by preserving the projection vectors
associated with the largest singular values. On the other hand, ST transforms
sequence of vector data into spectral space. By applying the Discrete Cosine
Transform (DCT) and selecting the most significant components, it streamlines
the handling of lengthy vector sequences. The paper provides examples of word
embedding, text chunk embedding, and image embedding, implemented in Julia
language with a vector database. It also investigates unsupervised learning and
supervised learning using this method, along with strategies for handling large
data volumes.
- Abstract(参考訳): 本稿では,オーソノーマル基底上のベクトル埋め込み(VEOB)とスペクトル変換(ST)の2つの手法を利用する,新しい高速機械学習手法を提案する。
VEOBは元のデータをベクトル埋め込みに変換し、座標を正規直交基底に投影する。
特異値分解(singular value decomposition:svd)技術はベクトル基底と射影座標の計算に用いられ、埋め込み空間における距離測定の強化と、最大特異値に関連する投影ベクトルの保存によるデータ圧縮の促進に寄与する。
一方、STはベクトルデータの列をスペクトル空間に変換する。
Discrete Cosine Transform (DCT)を適用し、最も重要なコンポーネントを選択することで、長いベクトルシーケンスの処理を効率化する。
本稿では,ユリア語でベクトルデータベースを用いて実装された単語埋め込み,テキストチャンク埋め込み,画像埋め込みの例を示す。
また,この手法を用いた教師なし学習と教師なし学習と,大規模データ量を扱う戦略についても検討した。
関連論文リスト
- Vector Quantization for Deep-Learning-Based CSI Feedback in Massive MIMO
Systems [7.934232975873179]
本稿では,大規模マルチインプットマルチアウトプット(MIMO)システムのための,有限レート深層学習(DL)に基づくチャネル状態情報(CSI)フィードバック手法を提案する。
提案手法は,ベクトル量子化変分オートエンコーダ(VQ-VAE)フレームワークに基づく潜在ベクトルの有限ビット表現を提供する。
論文 参考訳(メタデータ) (2024-03-12T06:28:41Z) - Banach-Tarski Embeddings and Transformers [0.0]
任意のデータ構造を高次元ベクトルに埋め込む新しい構成を導入する。
これらの埋め込みは、変圧器の潜伏状態ベクトルの解釈可能なモデルを提供する。
埋め込み次元が十分に大きい場合、これらの埋め込みは元のデータ構造にデコード可能であることを示す。
論文 参考訳(メタデータ) (2023-11-15T21:30:26Z) - Backpack Language Models [108.65930795825416]
Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。
学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。
本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T09:26:23Z) - Grounding and Distinguishing Conceptual Vocabulary Through Similarity
Learning in Embodied Simulations [4.507860128918788]
そこで本研究では,具体的シミュレーションによって収集されたエージェント体験を用いて,文脈化された単語ベクトルをオブジェクト表現にグラウンド化する手法を提案する。
類似性学習を用いて、相互作用するオブジェクトの特性に基づいて、異なるオブジェクトタイプの比較を行い、オブジェクトの振る舞いに関連する共通の特徴を抽出する。
論文 参考訳(メタデータ) (2023-05-23T04:22:00Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳(メタデータ) (2021-12-31T10:03:47Z) - TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D
Salient Object Detection [86.94578023985677]
本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。
具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。
7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
論文 参考訳(メタデータ) (2021-12-04T15:45:34Z) - Dynamic Texture Recognition using PDV Hashing and Dictionary Learning on
Multi-scale Volume Local Binary Pattern [11.497810572868396]
PHD-MVLBPを用いたPDVハッシュと辞書学習を用いた動的テクスチャ認識手法を提案する。
非常に高次元のLPPヒストグラムの特徴を形成する代わりに、まずハッシュ関数を使用してピクセル差分ベクトル(PDV)を二進ベクトルにマッピングし、それから導出した二進ベクトルを用いて辞書を作成し、導出した辞書を用いてそれらをエンコードする。
論文 参考訳(メタデータ) (2021-11-24T07:57:14Z) - A Tensor SVD-based Classification Algorithm Applied to fMRI Data [0.0]
行列SVDのテンソルアナログである t-SVDM を用いた投影型分類アルゴリズムを用いる。
数値実験により、fMRI分類に最適なテンソルベースアプローチが存在することが示された。
論文 参考訳(メタデータ) (2021-10-31T20:39:23Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2021-10-12T22:42:31Z) - Spectral Learning on Matrices and Tensors [74.88243719463053]
テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。
また,効率的なテンソル分解法を設計するための計算手法についても概説する。
論文 参考訳(メタデータ) (2020-04-16T22:53:00Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳(メタデータ) (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。