論文の概要: Semi-Structured Object Sequence Encoders
- arxiv url: http://arxiv.org/abs/2301.01015v1
- Date: Tue, 3 Jan 2023 09:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 13:56:11.974248
- Title: Semi-Structured Object Sequence Encoders
- Title（参考訳）: 半構造化オブジェクトシーケンスエンコーダ
- Authors: Rudra Murthy V and Riyaz Bhat and Chulaka Gunasekara and Hui Wan and
Tejas Indulal Dhamecha and Danish Contractor and Marina Danilevsky
- Abstract要約: 本稿では,構造化対象系列に対する構造認識型入力表現の開発に焦点をあてる。
特定のキーの値を用いてシーケンス表現をエンコードし、構築する。
提案手法は, 配列オブジェクトの平坦化よりも性能が良く, 既存の手法よりもはるかに大きなシーケンスを操作できることがわかった。
- 参考スコア（独自算出の注目度）: 8.342374095711389
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper we explore the task of modeling (semi) structured object
sequences; in particular we focus our attention on the problem of developing a
structure-aware input representation for such sequences. In such sequences, we
assume that each structured object is represented by a set of key-value pairs
which encode the attributes of the structured object. Given a universe of keys,
a sequence of structured objects can then be viewed as an evolution of the
values for each key, over time. We encode and construct a sequential
representation using the values for a particular key (Temporal Value Modeling -
TVM) and then self-attend over the set of key-conditioned value sequences to a
create a representation of the structured object sequence (Key Aggregation -
KA). We pre-train and fine-tune the two components independently and present an
innovative training schedule that interleaves the training of both modules with
shared attention heads. We find that this iterative two part-training results
in better performance than a unified network with hierarchical encoding as well
as over, other methods that use a {\em record-view} representation of the
sequence \cite{de2021transformers4rec} or a simple {\em flattened}
representation of the sequence. We conduct experiments using real-world data to
demonstrate the advantage of interleaving TVM-KA on multiple tasks and detailed
ablation studies motivating our modeling choices. We find that our approach
performs better than flattening sequence objects and also allows us to operate
on significantly larger sequences than existing methods.
- Abstract（参考訳）: 本稿では,構造化オブジェクト列をモデル化(セミ)する作業について検討し,特に,そのようなシーケンスに対する構造認識型入力表現を開発することの課題に焦点をあてる。
このようなシーケンスでは、各構造化オブジェクトは、構造化オブジェクトの属性を符号化するキー値対の集合で表されると仮定する。
鍵の宇宙が与えられたとき、構造化されたオブジェクトの列は、時間とともに各キーの値の進化と見なされる。
我々は、特定のキー(時間的値モデリングtvm)の値を用いてシーケンシャル表現を符号化し構築し、構造化されたオブジェクトシーケンス(key aggregationka)の表現を作成するために、キー条件付き値シーケンスの集合に自己アタッチする。
我々は,2つのコンポーネントを個別に事前学習し,微調整し,双方のモジュールのトレーニングを共通注意頭でインターリーブする革新的なトレーニングスケジュールを提示する。
この反復的な2つのパートトレーニングは、階層的なエンコーディングを施した統一ネットワークよりもパフォーマンスが向上し、シーケンスのcite{de2021transformers4rec} や、シーケンスの単純な {\em flattened} 表現を使用する他の方法が得られた。
実世界のデータを用いて、複数のタスクにTVM-KAをインターリーブする利点を示す実験を行い、モデリング選択を動機付ける詳細なアブレーション研究を行った。
提案手法は, 配列オブジェクトの平坦化よりも性能が良く, 既存の手法よりもはるかに大きなシーケンスを操作できることがわかった。
関連論文リスト
- Capturing Temporal Components for Time Series Classification [5.70772577110828]
本研究では,逐次データから抽出した統計的コヒーレントな成分に基づいて学習したテキスト合成表現学習手法を提案する。
マルチスケールな変更空間に基づいて、シーケンシャルデータを類似の統計特性を持つチャンクに分割する教師なしの手法を提案する。
シーケンスベースのエンコーダモデルをマルチタスク設定でトレーニングし、時系列分類のための時間成分から合成表現を学習する。
論文 参考訳（メタデータ） (2024-06-20T16:15:21Z) - Advancing Time Series Classification with Multimodal Language Modeling [6.624754582682479]
InstructTimeは、時系列分類を学習から生成までのパラダイムとして再形成するための新しい試みである。
中心となる考え方は、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化することである。
ベンチマークデータセット上で大規模な実験が行われ、その結果、InstructTimeの優れたパフォーマンスが明らかになった。
論文 参考訳（メタデータ） (2024-03-19T02:32:24Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-03-01T08:33:16Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳（メタデータ） (2022-04-05T09:25:28Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳（メタデータ） (2022-01-26T17:54:14Z) - ASFormer: Transformer for Action Segmentation [9.509416095106493]
本稿では,アクションセグメンテーションタスクのための効率的なトランスフォーマーベースモデルASFormerを提案する。
信頼された範囲内で仮説空間を制約し、アクションセグメンテーションタスクが小さなトレーニングセットで適切なターゲット関数を学習するのに有益である。
我々は、長い入力シーケンスを効率的に処理する事前定義された階層表現パターンを適用した。
論文 参考訳（メタデータ） (2021-10-16T13:07:20Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳（メタデータ） (2020-11-10T04:28:11Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳（メタデータ） (2020-10-24T08:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。