論文の概要: Multi-Operational Mathematical Derivations in Latent Space
- arxiv url: http://arxiv.org/abs/2311.01230v1
- Date: Thu, 2 Nov 2023 13:33:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 13:23:07.788450
- Title: Multi-Operational Mathematical Derivations in Latent Space
- Title（参考訳）: 潜在空間における多操作数学的導出
- Authors: Marco Valentino, Jordan Meadows, Lan Zhang, Andr\'e Freitas
- Abstract要約: 数学的操作を明示的な幾何学的変換としてモデル化する、異なる多動作表現パラダイムを導入する。
我々は61Kの前提と6つの演算子からなる1.7Mの導出ステップからなる大規模データセットを構築した。
アーキテクチャの選択は、トレーニングのダイナミクス、構造組織、潜在空間の一般化に大きく影響を与える可能性があることを示す。
- 参考スコア（独自算出の注目度）: 8.135142928659546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the possibility of approximating multiple
mathematical operations in latent space for expression derivation. To this end,
we introduce different multi-operational representation paradigms, modelling
mathematical operations as explicit geometric transformations. By leveraging a
symbolic engine, we construct a large-scale dataset comprising 1.7M derivation
steps stemming from 61K premises and 6 operators, analysing the properties of
each paradigm when instantiated with state-of-the-art neural encoders.
Specifically, we investigate how different encoding mechanisms can approximate
equational reasoning in latent space, exploring the trade-off between learning
different operators and specialising within single operations, as well as the
ability to support multi-step derivations and out-of-distribution
generalisation. Our empirical analysis reveals that the multi-operational
paradigm is crucial for disentangling different operators, while discriminating
the conclusions for a single operation is achievable in the original expression
encoder. Moreover, we show that architectural choices can heavily affect the
training dynamics, structural organisation, and generalisation of the latent
space, resulting in significant variations across paradigms and classes of
encoders.
- Abstract（参考訳）: 本稿では,表現導出のための潜在空間における複数の数理演算を近似する可能性について検討する。
この目的のために, 数学的操作を明示的な幾何学的変換としてモデル化し, 異なる多操作表現パラダイムを導入する。
シンボリックエンジンを利用することで,61Kの前提と6つの演算子からなる1.7Mの導出ステップからなる大規模データセットを構築し,最先端のニューラルエンコーダをインスタンス化する際の各パラダイムの特性を解析する。
具体的には、異なる符号化機構が潜在空間における方程式推論を近似し、異なる演算子を学習し、単一の操作で専門化することのトレードオフを探り、多段階導出と分布外一般化をサポートする能力について検討する。
実験結果から,マルチオペレーションパラダイムは異なる演算子を分離する上で重要であり,一方,単一操作の結論を識別することは元の式エンコーダでは達成可能であることが明らかとなった。
さらに,設計上の選択が潜在空間のトレーニングダイナミクス,構造的組織,一般化に大きく影響し,その結果,エンコーダのパラダイムやクラスにまたがる大きな変化をもたらすことを示した。
関連論文リスト
- A Mathematical Analysis of Neural Operator Behaviors [0.0]
本稿では,ニューラルネットワークの動作を分析するための厳密な枠組みを提案する。
我々はそれらの安定性、収束性、クラスタリングダイナミクス、普遍性、一般化誤差に焦点を当てる。
我々は,ニューラル演算子に基づく手法の今後の設計のために,単一設定で明確かつ統一的なガイダンスを提供することを目指している。
論文 参考訳（メタデータ） (2024-10-28T19:38:53Z) - Operator Learning: Algorithms and Analysis [8.305111048568737]
オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。
このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
論文 参考訳（メタデータ） (2024-02-24T04:40:27Z) - A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳（メタデータ） (2024-02-10T11:14:53Z) - Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational
AutoEncoders [5.037881619912574]
本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。
具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。
我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
論文 参考訳（メタデータ） (2023-11-14T22:47:23Z) - Enhancing Deep Learning Models through Tensorization: A Comprehensive
Survey and Framework [0.0]
本稿では,多次元データソース,様々なマルチウェイ解析手法,およびこれらの手法の利点について考察する。
2次元アルゴリズムとPythonのマルチウェイアルゴリズムを比較したBlind Source separation(BSS)の小さな例を示す。
その結果,マルチウェイ解析の方が表現力が高いことが示唆された。
論文 参考訳（メタデータ） (2023-09-05T17:56:22Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Join-Chain Network: A Logical Reasoning View of the Multi-head Attention
in Transformer [59.73454783958702]
本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。
特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。
変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
論文 参考訳（メタデータ） (2022-10-06T07:39:58Z) - Spatiotemporal Analysis Using Riemannian Composition of Diffusion
Operators [11.533336104503311]
変数が幾らかの幾何学に関係していると仮定し、時系列解析のための演算子に基づくアプローチを提案する。
提案手法は,行列の幾何を表す演算子を学習するための多様体 (i) 異なる時間サンプルに対応する演算子のマルチスケール構成のための対称正定幾何 (ii) 動的モードを抽出する合成演算子のスペクトル解析 (iii) を独立に行う。
論文 参考訳（メタデータ） (2022-01-21T03:52:33Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z) - Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。
モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文 参考訳（メタデータ） (2021-06-16T17:12:26Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。