論文の概要: Representing Unordered Data Using Complex-Weighted Multiset Automata
- arxiv url: http://arxiv.org/abs/2001.00610v3
- Date: Fri, 28 Aug 2020 14:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 04:39:47.955673
- Title: Representing Unordered Data Using Complex-Weighted Multiset Automata
- Title(参考訳): 複素重み付きマルチセットオートマタを用いた非順序データの表現
- Authors: Justin DeBenedetto, David Chiang
- Abstract要約: 我々は、既存のニューラルネットワークアーキテクチャのマルチセット表現を、我々の特別なケースとみなすことができることを示す。
すなわち、正弦波関数を用いたトランスフォーマーモデルの位置表現に対して、新しい理論的、直感的な正当性を与える。
私たちはDeepSetsモデルを複雑な数に拡張し、既存のモデルをそのタスクの1つの拡張で上回るようにします。
- 参考スコア(独自算出の注目度): 23.68657135308002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unordered, variable-sized inputs arise in many settings across multiple
fields. The ability for set- and multiset-oriented neural networks to handle
this type of input has been the focus of much work in recent years. We propose
to represent multisets using complex-weighted multiset automata and show how
the multiset representations of certain existing neural architectures can be
viewed as special cases of ours. Namely, (1) we provide a new theoretical and
intuitive justification for the Transformer model's representation of positions
using sinusoidal functions, and (2) we extend the DeepSets model to use complex
numbers, enabling it to outperform the existing model on an extension of one of
their tasks.
- Abstract(参考訳): 非順序、可変サイズの入力は複数のフィールドにまたがる多くの設定で発生する。
このタイプの入力を処理するための、セットとマルチセット指向のニューラルネットワークの能力は、近年多くの作業の焦点となっている。
複素重み付きマルチセットオートマトンを用いてマルチセットを表現し、既存のニューラルネットワークアーキテクチャのマルチセット表現を我々の特別なケースとみなす方法を示す。
すなわち,(1) 正弦波関数を用いたトランスフォーマーモデルの位置表現の理論的,直感的な新しい正当性を提供し,(2) 複素数を使用するためにDeepSetsモデルを拡張し,既存のモデルをタスクの1つの拡張上で上回るようにした。
関連論文リスト
- A tutorial on multi-view autoencoders using the multi-view-AE library [0.0]
マルチビューオートエンコーダのための統一的な数学的枠組みを提案する。
それぞれのモデルのモチベーションと理論的アドバンテージに関する洞察を提供する。
以前導入された textttmulti-view-AE ライブラリのドキュメントと機能を拡張する。
論文 参考訳(メタデータ) (2024-03-12T09:51:05Z) - Model Composition for Multimodal Large Language Models [73.70317850267149]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-20T06:38:10Z) - Generative Multimodal Models are In-Context Learners [62.31022638619485]
我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。
Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
論文 参考訳(メタデータ) (2023-12-20T18:59:58Z) - Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。
我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。
本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
論文 参考訳(メタデータ) (2023-12-17T05:27:31Z) - Modular Blended Attention Network for Video Question Answering [1.131316248570352]
本稿では,再利用可能で構成可能なニューラルユニットを用いた問題解決手法を提案する。
一般的に使用されている3つのデータセットについて実験を行った。
論文 参考訳(メタデータ) (2023-11-02T14:22:17Z) - MULTIGAIN 2.0: MDP controller synthesis for multiple mean-payoff, LTL
and steady-state constraints [58.720142291102135]
我々は、コントローラ合成ツールMultiGainのメジャー拡張であるMultiGAIN 2.0を提案する。
この新バージョンはMultiGainの多目的能力を拡張し、確率システムのコントローラの形式的検証と合成を可能にする。
論文 参考訳(メタデータ) (2023-05-26T08:59:51Z) - MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。
本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
論文 参考訳(メタデータ) (2022-05-17T13:03:18Z) - Unsupervised Multimodal Language Representations using Convolutional
Autoencoders [5.464072883537924]
本稿では,教師なしマルチモーダル言語表現の抽出について提案する。
単語レベルのアライメントされたマルチモーダルシーケンスを2次元行列にマップし、畳み込みオートエンコーダを用いて複数のデータセットを組み合わせることで埋め込みを学習する。
また,本手法は非常に軽量で,他のタスクに容易に一般化でき,少ない性能低下とほぼ同じ数のパラメータを持つ未確認データが得られることを示した。
論文 参考訳(メタデータ) (2021-10-06T18:28:07Z) - Abelian Neural Networks [48.52497085313911]
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。
連想対称の特徴づけを用いて、アベリア半群演算に拡張する。
固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-02-24T11:52:21Z) - DynE: Dynamic Ensemble Decoding for Multi-Document Summarization [5.197307534263253]
異なる入力に対して同一モデルの複数のインスタンスの出力をアンサンブルする単純な復号法を提案する。
我々は,複数の文書要約データセットの最先端結果を得る。
論文 参考訳(メタデータ) (2020-06-15T20:40:06Z) - Deep Multi-Modal Sets [29.983311598563542]
ディープ・マルチモーダル・セット(Deep Multi-Modal Sets)は、1つの長く成長する固定サイズのベクトルではなく、非順序集合として特徴の集合を表現する技法である。
さまざまなタイプのタスクを学習するために,さまざまなモダリティを理由として,スケーラブルでマルチモーダルなフレームワークを実証する。
論文 参考訳(メタデータ) (2020-03-03T15:48:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。