論文の概要: Memory in humans and deep language models: Linking hypotheses for model augmentation

• arxiv url: http://arxiv.org/abs/2210.01869v1
• Date: Tue, 4 Oct 2022 19:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:51:06.620369
• Title: Memory in humans and deep language models: Linking hypotheses for model augmentation
• Title（参考訳）: 人間の記憶と深層言語モデル--モデル拡張のための仮説のリンク
• Authors: Omri Raccah, Pheobe Chen, Ted L. Willke, David Poeppel, and Vy A. Vo
• Abstract要約: メモリ拡張トランスフォーマーは、人間の記憶文学からの洞察から大きく恩恵を受けることができると我々は主張する。 本稿では、クロスドメインリンク仮説の仕様により、人間の記憶システムからのエビデンスを統合するアプローチについて詳述する。
• 参考スコア（独自算出の注目度）: 1.0485739694839669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The computational complexity of the self-attention mechanism in Transformer models significantly limits their ability to generalize over long temporal durations. Memory-augmentation, or the explicit storing of past information in external memory for subsequent predictions, has become a constructive avenue for mitigating this limitation. We argue that memory-augmented Transformers can benefit substantially from considering insights from the memory literature in humans. We detail an approach to integrating evidence from the human memory system through the specification of cross-domain linking hypotheses. We then provide an empirical demonstration to evaluate the use of surprisal as a linking hypothesis, and further identify the limitations of this approach to inform future research.
• Abstract（参考訳）: トランスフォーマーモデルにおける自己保持機構の計算複雑性は、長期にわたる一般化能力を著しく制限する。 メモリ拡張(英: Memory-augmentation)は、後続の予測のために外部メモリに過去の情報を明示的に保存することである。 メモリ拡張トランスフォーマーは、人間の記憶文学からの洞察から大きく恩恵を受けることができる。 本稿では,ヒューマンメモリシステムからのエビデンスを,クロスドメインリンク仮説の仕様を通じて統合するアプローチについて詳述する。 次に,リンク仮説としてサプリサルの使用を評価するための実証実験を行い,今後の研究へのアプローチの限界を明らかにする。

関連論文リスト

• Predictive Attractor Models [9.947717243638289]
  生成特性が望ましい新しいシーケンスメモリアーキテクチャであるtextitPredictive Attractor Models (PAM) を提案する。 PAMは、皮質小柱の側方抑制を通じて、過去の文脈を一意に表現することで破滅的な忘れを避ける。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T12:25:01Z)
• AHMF: Adaptive Hybrid-Memory-Fusion Model for Driver Attention Prediction [14.609639142688035]
  本稿では,AHMF(Adaptive Hybrid-Memory-Fusion)ドライバの注意予測モデルを提案する。 本モデルは、まず、現在のシーンにおける特定の危険刺激に関する情報を符号化し、作業記憶を形成する。その後、長期記憶から同様の状況体験を適応的に回収し、最終的な予測を行う。
  論文  参考訳（メタデータ） (2024-07-24T17:19:58Z)
• Spatially-Aware Transformer for Embodied Agents [20.498778205143477]
  本稿では,空間情報を含む空間認識変換器モデルの利用について検討する。 メモリ利用効率が向上し,様々な場所中心の下流タスクにおいて精度が向上することが実証された。 また,強化学習に基づくメモリ管理手法であるAdaptive Memory Allocatorを提案する。
  論文  参考訳（メタデータ） (2024-02-23T07:46:30Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information [19.559853775982386]
  本稿では,ストリーミングデータから質問応答タスクを解くための重要な情報に入力を処理しながら,リハーサルと予測を行うメモリモデルを提案する。 我々は,bAbIデータセットと大規模テキスト(Narrative QA)およびビデオ(ActivityNet-QA)質問応答データセットを用いて,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2023-05-12T15:46:36Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。