論文の概要: SymFormer: End-to-end symbolic regression using transformer-based architecture

• arxiv url: http://arxiv.org/abs/2205.15764v1
• Date: Tue, 31 May 2022 13:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 13:58:25.066038
• Title: SymFormer: End-to-end symbolic regression using transformer-based architecture
• Title（参考訳）: SymFormer: Transformer-based Architecture を用いたエンドツーエンドのシンボリックレグレッション
• Authors: Vastl, Martin and Kulh\'anek, Jon\'a\v{s} and Kubal\'ik, Ji\v{r}\'i and Derner, Erik and Babu\v{s}ka, Robert
• Abstract要約: 新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。 ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
• 参考スコア（独自算出の注目度）: 3.77872106578767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel view synthesis is a long-standing problem. In this work, we consider a variant of the problem where we are given only a few context views sparsely covering a scene or an object. The goal is to predict novel viewpoints in the scene, which requires learning priors. The current state of the art is based on Neural Radiance Fields (NeRFs), and while achieving impressive results, the methods suffer from long training times as they require evaluating thousands of 3D point samples via a deep neural network for each image. We propose a 2D-only method that maps multiple context views and a query pose to a new image in a single pass of a neural network. Our model uses a two-stage architecture consisting of a codebook and a transformer model. The codebook is used to embed individual images into a smaller latent space, and the transformer solves the view synthesis task in this more compact space. To train our model efficiently, we introduce a novel branching attention mechanism that allows us to use the same model not only for neural rendering but also for camera pose estimation. Experimental results on real-world scenes show that our approach is competitive compared to NeRF-based methods while not reasoning in 3D, and it is faster to train.
• Abstract（参考訳）: 新しいビュー合成は長年の問題である。 本研究では,シーンやオブジェクトをまばらにカバーする,いくつかのコンテキストビューしか与えられていない問題の変種について考察する。 目標は、学習の優先順位を必要とするシーンで、新しい視点を予測することである。 この技術の現状はNeural Radiance Fields(NeRF)に基づいており、印象的な結果を得る一方で、各画像のディープニューラルネットワークを介して何千もの3Dポイントサンプルを評価する必要があるため、長いトレーニング時間に悩まされている。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。 我々のモデルは、コードブックとトランスフォーマーモデルからなる2段階アーキテクチャを使用する。 コードブックは個々の画像を小さな潜在空間に埋め込むのに使われ、変換器はこのよりコンパクトな空間でビュー合成タスクを解く。 モデルを効率的にトレーニングするために、ニューラルネットワークのレンダリングだけでなく、カメラのポーズ推定にも、同じモデルを使用できる新しい分岐注意機構を導入しました。 実世界のシーンにおける実験結果から,提案手法はNeRF法と競合するが,3次元の推論は行わず,訓練の高速化が期待できる。

関連論文リスト

• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning [85.95599675484341]
  リカレントニューラルネットワークは、時間的に圧縮された表現の学習に対して強い誘導バイアスを持つ。 変換器は時間的に圧縮された表現を学習する際の帰納的バイアスがほとんどない。
  論文  参考訳（メタデータ） (2022-05-30T00:12:33Z)
• End-to-end symbolic regression with transformers [20.172752966322214]
  シンボリック・マグニチュード・レグレッションは、通常、2段階の手順を高速に予測する難しいタスクである。 本稿では,本モデルが情報変換器としてニューラル・ザ・定数にアプローチしていることを示す。
  論文  参考訳（メタデータ） (2022-04-22T06:55:43Z)
• Iterative Decoding for Compositional Generalization in Transformers [5.269770493488338]
  シーケンシャル・ツー・シークエンス・ラーニングでは、トランスフォーマーは極端に長い例に対して正しい出力を予測できないことが多い。 本稿では,Seq2seq学習に代わる反復復号法を提案する。 反復復号により訓練されたトランスフォーマーはPCFGデータセット上でセq2seqよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-08T14:52:25Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Neural Symbolic Regression that Scales [58.45115548924735]
  本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。 我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2021-06-11T14:35:22Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity [8.594811303203581]
  本稿では,Pareto-Optimal式にデータを適合させようとする記号回帰法の改良について述べる。 これは、通常、ノイズや悪いデータに対して、桁違いに堅牢であることによって、過去の最先端を改善する。 ニューラルネットワークの勾配特性から一般化対称性を発見する手法を開発した。
  論文  参考訳（メタデータ） (2020-06-18T18:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。