Fugu-MT 論文翻訳(概要): Long Context Modeling with Ranked Memory-Augmented Retrieval

論文の概要: Long Context Modeling with Ranked Memory-Augmented Retrieval

arxiv url: http://arxiv.org/abs/2503.14800v1
Date: Wed, 19 Mar 2025 00:24:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-20 15:25:57.900306
Title: Long Context Modeling with Ranked Memory-Augmented Retrieval
Title（参考訳）: ランク付きメモリ拡張検索を用いたLong Context Modeling
Authors: Ghadir Alselwi, Hao Xue, Shoaib Jameel, Basem Suleiman, Flora D. Salim, Imran Razzak,
Abstract要約: 関連性に基づいて動的にメモリエントリをランク付けする新しいフレームワークを提案する。本モデルは,情報検索における学習からランクまでの技術に着想を得て,新しい妥当性スコアとキー値埋め込みのためのポイントワイズ・リグレード・モデルを導入する。
参考スコア（独自算出の注目度）: 18.4248685578126
License:
Abstract: Effective long-term memory management is crucial for language models handling extended contexts. We introduce a novel framework that dynamically ranks memory entries based on relevance. Unlike previous works, our model introduces a novel relevance scoring and a pointwise re-ranking model for key-value embeddings, inspired by learning-to-rank techniques in information retrieval. Enhanced Ranked Memory Augmented Retrieval ERMAR achieves state-of-the-art results on standard benchmarks.
Abstract（参考訳）: 拡張コンテキストを扱う言語モデルには、効果的な長期記憶管理が不可欠である。関連性に基づいて動的にメモリエントリをランク付けする新しいフレームワークを提案する。従来と異なり,本モデルでは,情報検索における学習・ランク技術に触発されて,新しい妥当性スコアとキー値埋め込みのためのポイントワイド・リグレード・モデルを導入している。拡張ランク付きメモリ拡張検索ERMARは、標準ベンチマークで最先端の結果を得る。

関連論文リスト

Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [25.301280441283147]
本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。 6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。その結果,命令対応検索データセットの微調整モデルでは性能が向上するが,ほとんどのモデルでは命令順守に欠けることがわかった。
論文参考訳（メタデータ） (2024-10-31T11:47:21Z)
Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文参考訳（メタデータ） (2024-10-14T03:50:17Z)
MEMORYLLM: Towards Self-Updatable Large Language Models [101.3777486749529]
既存のLarge Language Models (LLM) は通常、デプロイ後も静的のままである。本稿では,変圧器と固定サイズのメモリプールを備えたモデルMEMORYLLMを紹介する。 MEMORYLLMは、テキスト知識を自己更新し、早期に注入された知識を記憶することができる。
論文参考訳（メタデータ） (2024-02-07T07:14:11Z)
History Semantic Graph Enhanced Conversational KBQA with Temporal Information Modeling [28.27368343751272]
会話履歴における長距離意味的依存関係を効果的にモデル化できる履歴意味グラフ拡張KBQAモデル(HSGE)を提案する。複雑な逐次質問応答のためのベンチマークデータセットを用いてHSGEを評価した。
論文参考訳（メタデータ） (2023-06-12T05:10:58Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文参考訳（メタデータ） (2022-05-26T08:24:01Z)
Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories [21.99104738567138]
本稿では,Barthes Cardinal Functions 由来の塩分検出の教師なし手法とサプライズ理論について述べる。外部知識ベースを導入し、メモリ機構を追加することにより、標準トランスフォーマー言語モデルを改善する。このデータに対する評価は,サリエンス検出モデルが非知識ベースおよびメモリ拡張言語モデル以上の性能を向上させることを示す。
論文参考訳（メタデータ） (2021-09-08T16:15:50Z)
Memory-Based Semantic Parsing [79.48882899104997]
文脈依存型セマンティック解析のためのメモリベースモデルを提案する。逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
論文参考訳（メタデータ） (2021-09-07T16:15:13Z)
Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文参考訳（メタデータ） (2020-10-20T15:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。