Fugu-MT 論文翻訳(概要): Behavior Structformer: Learning Players Representations with Structured Tokenization

論文の概要: Behavior Structformer: Learning Players Representations with Structured Tokenization

arxiv url: http://arxiv.org/abs/2406.05274v1
Date: Fri, 7 Jun 2024 21:59:55 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 20:34:04.681005
Title: Behavior Structformer: Learning Players Representations with Structured Tokenization
Title（参考訳）: 行動構造体:構造化トークン化を用いた学習者表現
Authors: Oleg Smirnov, Labinot Polisi,
Abstract要約: 本稿では,Transformer ベースのアーキテクチャにおいて,構造化トークン化を用いたユーザ動作のモデル化手法である Behavior Structformer を紹介する。追跡イベントを高密度トークンに変換することで、モデルのトレーニング効率と有効性を高めることができる。
参考スコア（独自算出の注目度）: 1.2891210250935148
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we introduce the Behavior Structformer, a method for modeling user behavior using structured tokenization within a Transformer-based architecture. By converting tracking events into dense tokens, this approach enhances model training efficiency and effectiveness. We demonstrate its superior performance through ablation studies and benchmarking against traditional tabular and semi-structured baselines. The results indicate that structured tokenization with sequential processing significantly improves behavior modeling.
Abstract（参考訳）: 本稿では,Transformer ベースのアーキテクチャにおける構造化トークン化を用いたユーザ行動モデリング手法である Behavior Structformer を紹介する。追跡イベントを高密度トークンに変換することで、モデルのトレーニング効率と有効性を高めることができる。従来の表状および半構造化ベースラインに対するアブレーション研究とベンチマークにより,その優れた性能を示す。その結果, 逐次処理による構造化トークン化は, 動作モデリングを大幅に改善することが示された。

関連論文リスト

Behavioral Sequence Modeling with Ensemble Learning [8.241486511994202]
隠れマルコフモデルのアンサンブルを用いたシーケンスモデリングのフレームワークを提案する。アンサンブルに基づくスコアリング手法は,異なる長さの列間のロバストな比較を可能にする。本手法の有効性を縦断的人間行動データセットに示す。
論文参考訳（メタデータ） (2024-11-04T15:34:28Z)
Enhanced Transformer architecture for in-context learning of dynamical systems [0.3749861135832073]
本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
論文参考訳（メタデータ） (2024-10-04T10:05:15Z)
Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文参考訳（メタデータ） (2024-07-05T14:29:44Z)
Affine transformation estimation improves visual self-supervised learning [4.40560654491339]
本研究では,アフィン変換の予測表現を制約するモジュールを追加することにより,学習プロセスの性能と効率が向上することを示す。我々は、様々な近代的な自己監督モデルで実験を行い、全てのケースで性能改善を見る。
論文参考訳（メタデータ） (2024-02-14T10:32:58Z)
StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure [5.2869308707704255]
StrAEは構造化オートエンコーダフレームワークであり、明示的な構造に厳格に固執することで、マルチレベル表現の効果的な学習を可能にする。本研究の結果は,入力として提供される構造に直接的な関連性があることを示し,既存のツリーモデルではそうではないことを示す。次に、StrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。
論文参考訳（メタデータ） (2023-05-09T16:20:48Z)
Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文参考訳（メタデータ） (2023-05-06T03:57:05Z)
Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文参考訳（メタデータ） (2022-10-26T13:27:26Z)
Efficient Sub-structured Knowledge Distillation [52.5931565465661]
定式化においてよりシンプルで,既存のアプローチよりもはるかに効率的にトレーニングできるアプローチを提案する。教師モデルから学生モデルへの知識の伝達は、出力空間全体ではなく、すべてのサブ構造上の予測を局所的に一致させることで行う。
論文参考訳（メタデータ） (2022-03-09T15:56:49Z)
Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文参考訳（メタデータ） (2021-06-26T23:19:06Z)
GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文参考訳（メタデータ） (2021-06-10T15:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。