論文の概要: Does Episodic Memory Help Close the Lexical Frequency Gap in Sensitivity to Syntactic Contrasts? A Test Using Retrieval-Augmented Language Models

• arxiv url: http://arxiv.org/abs/2608.23851v1
• Date: Mon, 24 Aug 2026 21:45:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.629349
• Title: Does Episodic Memory Help Close the Lexical Frequency Gap in Sensitivity to Syntactic Contrasts? A Test Using Retrieval-Augmented Language Models
• Title（参考訳）: エピソード記憶は、構文的コントラストに対する知覚の周波数ギャップを閉じるのに役立つか?検索言語モデルを用いたテスト
• Abstract要約: 補完学習システム理論を用いて、海馬のエピソード記憶機構を介して語彙周波数が生じるという仮説を検証した。 検索の強化により,高頻度と低頻度の項目間の性能ギャップが狭まることがわかった。 構造情報は効果的な検索に不可欠であるが,意味的類似性だけではほとんど利益が得られないことを示す。
• 参考スコア（独自算出の注目度）: 13.255966254489842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grammatical knowledge and how it is empirically tested are typically considered robust to the frequency of the lexical items in the expressions. However, neural network-based models of grammaticality exhibit high sensitivity to lexical frequency. We draw upon Complementary Learning Systems theory to test the hypothesis that robustness to lexical frequency can arise via a hippocampal episodic memory mechanism, which enables rapid encoding and retrieval of specific experiences and allows learners to leverage them when processing rare patterns. We use retrieval-augmented language models as an instantiation of such an episodic memory mechanism (specifically, $k$-nearest-neighbor language models that augment parametric models with explicit instance storage), and test whether this augmentation helps close the lexical frequency gap that vanilla language models exhibit in syntactic contrast tests. Using syntactic contrasts with frequency-stratified test items, we find that retrieval augmentation narrows the performance gap between high- and low-frequency items, consistent with episodic memory compensating for weak parametric representations. This benefit is consistent across different syntactic phenomena and across models pretrained on child-realistic and large-scale data. Additionally, we show that structural information is critical for effective retrieval, whereas semantic similarity alone provides little benefit. While these are promising proof-of-concept results supporting our hypothesis, the frequency gap is narrowed rather than fully closed. Based on our analyses, we propose preferential reweighting of retrieved instances, better representations and retrieval strategies for structural information, and flexible configurations of storage and retrieval as promising future directions for improving the implementation of episodic memory in language models.
• Abstract（参考訳）: 文法的な知識とそれをどのように経験的にテストするかは、通常、表現中の語彙項目の頻度に対して堅牢であると考えられている。 しかし、ニューラルネットワークに基づく文法モデルでは、語彙周波数に対する感度が高い。 本研究では, 語彙周波数に対するロバスト性は, 海馬のエピソード記憶機構を介し, 特定の経験を迅速に符号化し, 検索し, 希少なパターンを処理する際に, 学習者がそれらを活用することができるという仮説を, 補足学習システム理論を用いて検証する。 このようなエピソード記憶機構(具体的には、明示的なインスタンス記憶を伴うパラメトリックモデルを拡張する$k$-nearest-neighbor言語モデル)のインスタンス化として検索強化言語モデルを使用し、バニラ言語モデルが構文コントラストテストで示す語彙周波数ギャップを埋めるのに役立つかどうかを検証する。 周波数階層化テスト項目との統語的コントラストを用いて、検索の強化により、低周波と高周波の項目間の性能ギャップが狭まり、パラメトリック表現の弱さを補うエピソードメモリと整合することがわかった。 この利点は、様々なシナティクス現象、児童現実主義的および大規模データに基づいて事前訓練されたモデル間で一貫性がある。 さらに、構造情報は効果的な検索に不可欠であるが、意味的類似性だけではほとんど利益が得られないことを示す。 これらは我々の仮説を支持する有望な概念実証結果であるが、周波数ギャップは完全閉ではなく狭くなっている。 そこで本研究では,検索したインスタンスの優先的再重み付け,構造情報に対する表現と検索戦略の改善,および言語モデルにおけるエピソードメモリの実装改善のための将来的な方向性としての記憶と検索の柔軟な構成を提案する。

関連論文リスト

• Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects [17.220195638215507]
  拡散言語モデル (DLMs) は自己回帰言語モデル (ARMs) の代替として登場した。 DLMは、ARMと比較して、個人識別情報(PII)の記憶に基づくリークが著しく低い。
  論文  参考訳（メタデータ） (2026-03-02T19:03:32Z)
• Generative vector search to improve pathology foundation models across multimodal vision-language tasks [0.0]
  本稿では,検索性能を向上させるためにクエリ条件付き埋め込みをサンプリングする生成ベクトル探索手法であるLatent Matching(STHLM)を提案する。 STHLMは、科学的文献、臨床ノート、組織像を含む様々なベンチマークにおいて、古典的ベクトル検索よりも重要な改善を示す。
  論文  参考訳（メタデータ） (2025-12-22T12:59:23Z)
• From Fuzzy Speech to Medical Insight: Benchmarking LLMs on Noisy Patient Narratives [40.12543056558646]
  本稿では, 言語ノイズ, ファジィ言語, 在人用語のレベルの違いを特徴とする, 患者自己記述のシミュレートを目的とした新しいデータセットを提案する。 本データセットは, 多様な実世界の報告スタイルを反映する, コミュニケーションの明瞭度の範囲にまたがる, 地中真実診断を付加した, 臨床的に一貫したシナリオから構成される。 本研究では,NDB(Nuisy Diagnostic Benchmark)を作成した。NDB(Nuisy Diagnostic Benchmark)は,ストレステスト用に設計され,現実的な言語条件下での大規模言語モデル(LLM)の診断能力を比較する。
  論文  参考訳（メタデータ） (2025-09-15T11:34:46Z)
• SynapticRAG: Enhancing Temporal Memory Retrieval in Large Language Models through Synaptic Mechanisms [8.787174594966492]
  本稿では、時間的関連トリガーと生物学的に誘発されるシナプス伝達機構を組み合わせたシナプスRAGを提案する。 本手法では, 時間的関連トリガーとシナプス様刺激伝達を用いて, 関連する対話履歴を同定する。 4つのデータセットの実験では、SynapticRAGは最大14.66%までの複数のメトリクスで一貫した改善を達成している。
  論文  参考訳（メタデータ） (2024-10-17T13:51:03Z)
• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
  頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。 まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
  論文  参考訳（メタデータ） (2023-06-01T19:04:17Z)
• Scaling laws for language encoding models in fMRI [47.498241053872924]
  我々は、fMRIを用いて記録された脳の反応を予測するために、より大きなオープンソースモデルの方が優れているかどうかを検証した。 同様の対数行動は、fMRIトレーニングセットのサイズを拡大する際に観察された。 これらの結果は、脳内の言語処理の極めて効果的なモデルが得られることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:53:03Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。