Fugu-MT 論文翻訳(概要): The Credibility Transformer

論文の概要: The Credibility Transformer

arxiv url: http://arxiv.org/abs/2409.16653v1
Date: Wed, 25 Sep 2024 06:16:45 GMT
ステータス: 処理完了
システム内更新日: 2024-09-27 05:23:25.788880
Title: The Credibility Transformer
Title（参考訳）: 信頼性変換器
Authors: Ronald Richman, Salvatore Scognamiglio, Mario V. Wüthrich,
Abstract要約: このトランスフォーマーアーキテクチャに新しい信頼性機構を導入する。この新しい信頼性メカニズムは、トレーニングを安定させるのに非常に有益であることを示す。私たちのCredibility Transformerは、最先端のディープラーニングモデルよりも優れた予測モデルをもたらします。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Inspired by the large success of Transformers in Large Language Models, these architectures are increasingly applied to tabular data. This is achieved by embedding tabular data into low-dimensional Euclidean spaces resulting in similar structures as time-series data. We introduce a novel credibility mechanism to this Transformer architecture. This credibility mechanism is based on a special token that should be seen as an encoder that consists of a credibility weighted average of prior information and observation based information. We demonstrate that this novel credibility mechanism is very beneficial to stabilize training, and our Credibility Transformer leads to predictive models that are superior to state-of-the-art deep learning models.
Abstract（参考訳）: 大規模言語モデルにおけるトランスフォーマーの大きな成功に触発されて、これらのアーキテクチャはますます表データに適用されている。これは、表形式のデータを低次元ユークリッド空間に埋め込むことで実現される。このトランスフォーマーアーキテクチャに新しい信頼性機構を導入する。この信頼性メカニズムは、事前情報と観測に基づく情報の信頼性重み付き平均からなるエンコーダとして見なすべき特別なトークンに基づいている。我々は、この新しい信頼性メカニズムがトレーニングを安定させるのに非常に有益であることを実証し、我々のCredibility Transformerは最先端のディープラーニングモデルよりも優れた予測モデルをもたらすことを示した。

関連論文リスト

Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting [4.645182684813973]
本研究では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化する新しい手法を提案する。 PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。
論文参考訳（メタデータ） (2024-11-17T11:53:54Z)
Transformers with Stochastic Competition for Tabular Data Modelling [6.285325771390289]
本稿では,表型データに特化して設計された新しいディープラーニングモデルを提案する。このモデルは、広く使用されており、公開されているさまざまなデータセットで検証されている。これらの要素を組み込むことで、我々のモデルは高い性能が得られることを実証する。
論文参考訳（メタデータ） (2024-07-18T07:48:48Z)
Credit Card Fraud Detection Using Advanced Transformer Model [15.34892016767672]
本研究は、より堅牢で正確な不正検出のための最新のTransformerモデルの革新的な応用に焦点を当てる。データソースを慎重に処理し、データセットのバランスをとり、データの分散性の問題に対処しました。我々は、SVM(Support Vector Machine)、ランダムフォレスト(Random Forest)、ニューラルネットワーク(Neural Network)、ロジスティック回帰(Logistic Regression)など、広く採用されているいくつかのモデルと性能比較を行った。
論文参考訳（メタデータ） (2024-06-06T04:12:57Z)
Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains [48.146073732531605]
マルコフ連鎖のレンズによる変圧器の逐次モデリング機能について検討する。自然言語のマルコフ性に触発され、マルコフの情報源としてデータをモデル化する。我々は,データ特性とトランスフォーマーアーキテクチャに基づいて,グローバルなミニマと悪いローカルなミニマの存在を示す。
論文参考訳（メタデータ） (2024-02-06T17:18:59Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文参考訳（メタデータ） (2022-08-11T22:42:24Z)
CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文参考訳（メタデータ） (2022-07-16T04:05:15Z)
BayesFormer: Transformer with Uncertainty Estimation [31.206243748162553]
ベイズ理論によって設計されたドロップアウトを持つトランスフォーマーモデルBayesFormerを紹介する。我々は,言語モデリングと分類,長文理解,機械翻訳,能動的学習のための獲得機能など,ボード全体の改良点を示す。
論文参考訳（メタデータ） (2022-06-02T01:54:58Z)
Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文参考訳（メタデータ） (2021-04-26T13:13:03Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。