論文の概要: Lattice Representation Learning

• arxiv url: http://arxiv.org/abs/2006.13833v1
• Date: Wed, 24 Jun 2020 16:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:58:57.480920
• Title: Lattice Representation Learning
• Title（参考訳）: 格子表現学習
• Authors: Luis A. Lastras
• Abstract要約: ユークリッド空間に埋め込まれた格子を利用する離散表現を学習するための理論とアルゴリズムを導入する。 格子表現は興味深い性質の組み合わせを持つ:a) 格子量子化を用いて明示的に計算できるが、導入したアイデアを使って効率的に学習することができる。 この記事では、トレーニングや推論時間に使用される式をリンクする新しい数学的結果や、2つの一般的なデータセットに対する実験的な検証など、最初の2つの特性を探索し、活用するための基盤の整備に焦点をあてる。
• 参考スコア（独自算出の注目度）: 6.427169570069738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article we introduce theory and algorithms for learning discrete representations that take on a lattice that is embedded in an Euclidean space. Lattice representations possess an interesting combination of properties: a) they can be computed explicitly using lattice quantization, yet they can be learned efficiently using the ideas we introduce in this paper, b) they are highly related to Gaussian Variational Autoencoders, allowing designers familiar with the latter to easily produce discrete representations from their models and c) since lattices satisfy the axioms of a group, their adoption can lead into a way of learning simple algebras for modeling binary operations between objects through symbolic formalisms, yet learn these structures also formally using differentiation techniques. This article will focus on laying the groundwork for exploring and exploiting the first two properties, including a new mathematical result linking expressions used during training and inference time and experimental validation on two popular datasets.
• Abstract（参考訳）: 本稿では、ユークリッド空間に埋め込まれた格子を持つ離散表現を学習するための理論とアルゴリズムを紹介する。 格子表現は、プロパティの興味深い組み合わせを持っている。 a) 格子量子化を用いて明示的に計算することができるが、本論文で紹介するアイデアを用いて効率的に学習することができる。 b) それらはガウス変分オートエンコーダに強く関連しており、後者に慣れたデザイナーは、モデルから容易に離散表現を作成できる。 c) 格子は群の公理を満たしているため、それらの導入は、シンボリック形式を通じてオブジェクト間の二項演算をモデリングするための単純な代数を学習する方法につながりうるが、これらの構造も微分技術を用いて正式に学習することができる。 この記事では、トレーニングや推論時間に使用される式をリンクする新しい数学的結果や、2つの一般的なデータセットに対する実験的な検証など、最初の2つの特性を探索し、活用するための基盤の整備に焦点をあてる。

関連論文リスト

• Acceleration of Grokking in Learning Arithmetic Operations via Kolmogorov-Arnold Representation [3.7812707887425048]
  本稿では,変圧器モデルによる算術二項演算の学習において発生するグルーキング現象に着目した。 グラッキングを高速化する様々な伝達学習機構を提案する。
  論文  参考訳（メタデータ） (2024-05-26T18:29:24Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Discovering Abstract Symbolic Relations by Learning Unitary Group Representations [7.303827428956944]
  記号演算完了(SOC)の原理的アプローチについて検討する。 SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
  論文  参考訳（メタデータ） (2024-02-26T20:18:43Z)
• Object-centric architectures enable efficient causal representation learning [51.6196391784561]
  観測対象が複数の物体である場合, 生成関数はもはや注入的ではなく, 実際に乱れは生じないことを示す。 スパース摂動からの弱い監督を利用して各オブジェクトのプロパティを乱すオブジェクト中心アーキテクチャを開発する。 このアプローチはユークリッド空間にエンコードする同等のアプローチよりもはるかに少ない摂動を必要とするという意味で、よりデータ効率が高い。
  論文  参考訳（メタデータ） (2023-10-29T16:01:03Z)
• Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions [0.0]
  従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。 本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T22:22:32Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Granular Directed Rough Sets, Concept Organization and Soft Clustering [0.0]
  上向きの粗集合は、著者によって以前の論文で紹介され、研究されている。 これは、驚くべき代数的意味論を持つ2つの異なる粒度の方向で、彼女によって拡張される。 この研究は、関連する領域において重要な理論的および実践的な応用が期待されている。
  論文  参考訳（メタデータ） (2022-08-13T11:01:05Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。