論文の概要: Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task

• arxiv url: http://arxiv.org/abs/2406.14213v1
• Date: Thu, 20 Jun 2024 11:27:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 14:11:31.141555
• Title: Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task
• Title（参考訳）: 変圧器の動作記憶における記号表現の複雑度とタスクの複雑度との関係
• Authors: Alsu Sagirova, Mikhail Burtsev,
• Abstract要約: 本稿では,Transformerモデルデコーダに付加されたシンボリックワーキングメモリの内容について検討する。 翻訳されたテキストキーワードはワーキングメモリに格納され、処理されたテキストに対するメモリ内容の関連性を示す。 メモリに格納されたトークンと音声の部分の多様性は、機械翻訳タスクのためのコーパスの複雑さと相関する。
• 参考スコア（独自算出の注目度）: 3.1331371767476366
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Even though Transformers are extensively used for Natural Language Processing tasks, especially for machine translation, they lack an explicit memory to store key concepts of processed texts. This paper explores the properties of the content of symbolic working memory added to the Transformer model decoder. Such working memory enhances the quality of model predictions in machine translation task and works as a neural-symbolic representation of information that is important for the model to make correct translations. The study of memory content revealed that translated text keywords are stored in the working memory, pointing to the relevance of memory content to the processed text. Also, the diversity of tokens and parts of speech stored in memory correlates with the complexity of the corpora for machine translation task.
• Abstract（参考訳）: Transformerは自然言語処理タスク、特に機械翻訳に広く使われているが、処理されたテキストのキーコンセプトを格納するための明示的なメモリが欠如している。 本稿では,Transformerモデルデコーダに付加されたシンボリックワーキングメモリの内容について検討する。 このような作業メモリは、機械翻訳タスクにおけるモデル予測の品質を高め、モデルが正しい翻訳を行う上で重要な情報のニューラルシンボリック表現として機能する。 メモリ内容の研究により、翻訳されたテキストキーワードが作業メモリに格納され、処理されたテキストに対するメモリ内容の関連性を示すことが明らかとなった。 また、メモリに格納されたトークンと音声の部分の多様性は、機械翻訳タスクのためのコーパスの複雑さと相関する。

関連論文リスト

• Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory [66.88278207591294]
  本稿では,新しいより長いデータ列に対して,ニューラルネットワークによるシンボル処理の理解と適用を支援するために,Pointer-Augmented Neural Memory (PANM)を提案する。 PANMは、新しい物理アドレスとポインタ操作技術を使用して、人間とコンピュータのシンボル処理能力を模倣する外部のニューラルメモリを統合する。
  論文  参考訳（メタデータ） (2024-04-18T03:03:46Z)
• Cached Transformers: Improving Transformers with Differentiable Memory Cache [71.28188777209034]
  この作業では、Cached Transformerと呼ばれる新しいTransformerモデルが導入されている。 Gated Recurrent Cached (GRC) を使用して、トークンの異なるメモリキャッシュで自己アテンションメカニズムを拡張する。
  論文  参考訳（メタデータ） (2023-12-20T03:30:51Z)
• Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation [0.20305676256390928]
  本稿では,新たな左コンテキスト手法により暗黙的にメモリを保持するImplicit Memory Transformerを提案する。 MuST-Cデータセットの実験では、Implicit Memory Transformerがエンコーダのフォワードパスにかなりのスピードアップを提供することが示された。
  論文  参考訳（メタデータ） (2023-07-03T22:20:21Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
  本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
  論文  参考訳（メタデータ） (2022-09-15T22:37:22Z)
• Memory-Driven Text-to-Image Generation [126.58244124144827]
  本稿では,メモリ駆動型半パラメトリックによるテキスト・ツー・イメージ生成手法を提案する。 非パラメトリック成分は、画像のトレーニングセットから構築された画像特徴のメモリバンクである。 パラメトリック成分は 生成的敵ネットワークです
  論文  参考訳（メタデータ） (2022-08-15T06:32:57Z)
• Recurrent Memory Transformer [0.3529736140137003]
  メモリ拡張セグメントレベルリカレント変圧器(リカレントメモリ変圧器)について検討する。 入力や出力シーケンスに特別なメモリトークンを追加することで、Transformerモデルに変更を加えることなくメモリ機構を実装します。 我々のモデルは、より小さなメモリサイズのための言語モデリングにおけるTransformer-XLと同等に動作し、より長いシーケンス処理を必要とするタスクに対して性能を向上する。
  論文  参考訳（メタデータ） (2022-07-14T13:00:22Z)
• Entropic Associative Memory for Manuscript Symbols [0.0]
  マニュアルシンボルは、連想的で分散されているが宣言的でないエントロピーデジタルメモリから保存、認識、検索することができる。 完全情報と不完全情報の両方を用いてオブジェクトを検索するエントロピー連想メモリの動作特性について考察する。
  論文  参考訳（メタデータ） (2022-02-17T02:29:33Z)
• Remember What You have drawn: Semantic Image Manipulation with Memory [84.74585786082388]
  本稿では,リアルでテキスト変換された画像を生成するメモリベースの画像操作ネットワーク(MIM-Net)を提案する。 頑健なメモリを学習するために,新しいランダム化メモリトレーニング損失を提案する。 4つの一般的なデータセットに対する実験は、既存のデータセットと比較して、我々の手法の優れた性能を示している。
  論文  参考訳（メタデータ） (2021-07-27T03:41:59Z)
• Learning to Summarize Long Texts with Memory Compression and Transfer [3.5407857489235206]
  本稿では,階層的リカレントニューラルネットワークに基づくエンコーダデコーダアーキテクチャのためのメモリ・ツー・メモリ機構であるMem2Memを紹介する。 我々のメモリ正規化は、よりコンパクトな文表現セットに符号化された入力項目を圧縮する。
  論文  参考訳（メタデータ） (2020-10-21T21:45:44Z)
• Memory Transformer [0.31406146587437894]
  トランスフォーマーベースのモデルは、多くの自然言語処理タスクにおいて最先端の結果を得た。 メモリ拡張ニューラルネットワーク(MANN)は、従来のニューラルネットワークを拡張し、汎用メモリで表現する。 我々は,これらのメモリ拡張トランスフォーマーを評価し,メモリの存在がモデル性能と正の相関関係があることを実証した。
  論文  参考訳（メタデータ） (2020-06-20T09:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。