論文の概要: Categorical Representation Learning: Morphism is All You Need
- arxiv url: http://arxiv.org/abs/2103.14770v1
- Date: Fri, 26 Mar 2021 23:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:17:09.356710
- Title: Categorical Representation Learning: Morphism is All You Need
- Title（参考訳）: カテゴリー表現学習: 形態学は必要なすべて
- Authors: Artan Sheshmani and Yizhuang You
- Abstract要約: 分類的表現学習のための構成を提供し、''$textitcategorifier$'の基礎を紹介する。
データセット内のすべてのオブジェクトは、$mathcalS$のベクターとして、$textitencoding map$$$E: MathcalObj(mathcalS)tomathbbRn$で表現できる。
概念実証として,我々の技術を用いたテキストトランスレータの例を示し,我々の分類学習モデルが現在のディープラーニングモデルよりも17倍優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide a construction for categorical representation learning and
introduce the foundations of ''$\textit{categorifier}$". The central theme in
representation learning is the idea of $\textbf{everything to vector}$. Every
object in a dataset $\mathcal{S}$ can be represented as a vector in
$\mathbb{R}^n$ by an $\textit{encoding map}$ $E:
\mathcal{O}bj(\mathcal{S})\to\mathbb{R}^n$. More importantly, every morphism
can be represented as a matrix $E:
\mathcal{H}om(\mathcal{S})\to\mathbb{R}^{n}_{n}$. The encoding map $E$ is
generally modeled by a $\textit{deep neural network}$. The goal of
representation learning is to design appropriate tasks on the dataset to train
the encoding map (assuming that an encoding is optimal if it universally
optimizes the performance on various tasks). However, the latter is still a
$\textit{set-theoretic}$ approach. The goal of the current article is to
promote the representation learning to a new level via a
$\textit{category-theoretic}$ approach. As a proof of concept, we provide an
example of a text translator equipped with our technology, showing that our
categorical learning model outperforms the current deep learning models by 17
times. The content of the current article is part of the recent US patent
proposal (patent application number: 63110906).
- Abstract（参考訳）: 分類表現学習のための構成を提供し、''$\textit{categorifier}$'の基礎を紹介する。
表現学習の中心的なテーマは、$\textbf{everything to vector}$というアイデアである。
データセット $\mathcal{S}$ のすべてのオブジェクトは、$\mathbb{R}^n$ のベクトルとして $\textit{encoding map}$ $E: \mathcal{O}bj(\mathcal{S})\to\mathbb{R}^n$ で表現できる。
さらに重要なことに、すべての射は行列 $E: \mathcal{H}om(\mathcal{S})\to\mathbb{R}^{n}_{n}$ として表すことができる。
符号化マップ $e$ は一般的に$\textit{deep neural network}$でモデル化される。
表現学習の目標は、エンコーディングマップをトレーニングするためにデータセット上の適切なタスクを設計することである(様々なタスクのパフォーマンスを普遍的に最適化すれば、エンコーディングが最適となると仮定する)。
しかし、後者はまだ$\textit{set-theoretic}$アプローチである。
現在の記事の目標は,$\textit{category-theoretic}$アプローチを通じて,表現学習を新たなレベルに促進することにある。
概念実証として,我々の技術を用いたテキストトランスレータの例を示し,我々の分類学習モデルが現在のディープラーニングモデルよりも17倍優れていることを示す。
現在の記事の内容は、先日の米国特許提案(パテント出願番号:63110906)の一部である。
関連論文リスト
- Transformer In-Context Learning for Categorical Data [51.23121284812406]
我々は、分類結果、非線形基礎モデル、非線形注意を考慮し、文脈内学習のレンズを通してトランスフォーマーを理解する研究を機能データで拡張する。
我々は、ImageNetデータセットを用いて、この数発の学習方法論の最初の実世界の実演であると考えられるものを提示する。
論文 参考訳（メタデータ） (2024-05-27T15:03:21Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Uncovering hidden geometry in Transformers via disentangling position
and context [0.6118897979046375]
トレーニングされた変換器の隠れ状態(または埋め込み)を解釈可能なコンポーネントに簡易に分解する。
一般的なトランスフォーマーアーキテクチャや多様なテキストデータセットでは、経験的に広範に数学的構造が見つかる。
論文 参考訳（メタデータ） (2023-10-07T15:50:26Z) - On the Power of Multitask Representation Learning in Linear MDP [61.58929164172968]
本稿では,線形マルコフ決定過程(MDP)におけるマルチタスク表現学習の統計的メリットについて分析する。
簡単な最小二乗アルゴリズムが $tildeO(H2sqrtfrackappa MathcalC(Phi)2 kappa dNT+frackappa dn) というポリシーを学ぶことを証明した。
論文 参考訳（メタデータ） (2021-06-15T11:21:06Z) - Learning a Latent Simplex in Input-Sparsity Time [58.30321592603066]
我々は、$AinmathbbRdtimes n$へのアクセスを考えると、潜入$k$-vertex simplex $KsubsetmathbbRdtimes n$を学習する問題を考える。
実行時間における$k$への依存は、トップ$k$特異値の質量が$a$であるという自然な仮定から不要であることを示す。
論文 参考訳（メタデータ） (2021-05-17T16:40:48Z) - Learners' languages [0.0]
著者らは、深層学習の基本的な要素である勾配降下とバックプロパゲーションは、強いモノイド関手として概念化できることを示した。
我々は$Ato B$ in $mathbfPara(mathbfSLens)$の写像が動的系の観点から自然な解釈を持っていることを示した。
論文 参考訳（メタデータ） (2021-03-01T18:34:00Z) - Learning a Lie Algebra from Unlabeled Data Pairs [7.329382191592538]
深層畳み込みネットワーク (convnets) は、非絡み合った表現を学習する顕著な能力を示している。
本稿では,空間$mathbbRn$の非線形変換を発見する機械学習手法を提案する。
鍵となる考え方は、すべてのターゲット $boldsymboly_i$ を $boldsymbolwidetildey_i = boldsymbolphi(t_i) boldsymbolx_i$ という形の行列ベクトル積で近似することである。
論文 参考訳（メタデータ） (2020-09-19T23:23:52Z) - Few-Shot Learning via Learning the Representation, Provably [115.7367053639605]
本稿では,表現学習による少数ショット学習について検討する。
1つのタスクは、ターゲットタスクのサンプルの複雑さを減らすために、$T$ソースタスクと$n_1$データを使用して表現を学習する。
論文 参考訳（メタデータ） (2020-02-21T17:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。