論文の概要: DiaLong: Benchmarking Reminiscence in Long-Context Dialogues
- arxiv url: http://arxiv.org/abs/2610.25463v2
- Date: Tue, 20 Oct 2026 19:55:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.170557
- Title: DiaLong: Benchmarking Reminiscence in Long-Context Dialogues
- Title（参考訳）: DiaLong: 長期会話における思い出のベンチマーク
- Abstract要約: トランスフォーマーベースのLarge Language Models(LLM)は、対話の長いコンテキストにおける記憶と記憶をどれだけうまく保持できるのか?
本稿では、長文対話データセットDiaLongと、この空間における評価を標準化したメモリタスクについて紹介する。
我々の選択したメモリタスクは事実リコールであり、対話に関する40の候補事実を真か偽かで分類する。
このタスクは、モデルが情報を積極的に保持し、取り出す能力を直接調査し、拡張された会話コンテキストにおけるメモリの重要な尺度として機能する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How well can transformer-based Large Language Models (LLMs) retain and recall memories in long contexts of dialogue? LLMs are known to forget long-range factual information in their context, yet the field lacks a comprehensive benchmark to quantitatively assess these shortcomings. We present DiaLong, a long-context dialogue dataset and accompanying memory task that standardizes evaluation in this space. It consists of 100 unique conversations created by humans and then augmented with LLMs, extending beyond lengths found in existing datasets. Our selected memory task is fact recall: classify 40 candidate facts about a dialogue as true or false. This task directly probes the model's ability to actively retain and retrieve information, serving as a critical measure of memory within extended conversational contexts. In testing both the latest LLMs and proposed memory enhancements on DiaLong, we demonstrate that more work needs to be done to enable LLMs with better memory performance. By enhancing memory capabilities, LLMs can improve in maintaining coherence, relevance, and human-like interaction over extended conversation. Improving these capabilities will help LLMs fulfill diverse user needs and expectations in various conversational scenarios.
- Abstract（参考訳）: トランスフォーマーベースのLarge Language Models(LLM)は、対話の長いコンテキストにおける記憶と記憶をどれだけうまく保持できるのか?
LLMは、コンテキストにおける長距離の事実情報を忘れることが知られているが、これらの欠点を定量的に評価するための包括的なベンチマークが欠如している。
本稿では、長文対話データセットDiaLongと、この空間における評価を標準化したメモリタスクについて紹介する。
人間によって生成され、LLMで拡張された100のユニークな会話で構成されており、既存のデータセットで見られる長さを超えて拡張されている。
我々の選択したメモリタスクは事実リコールであり、対話に関する40の候補事実を真か偽かで分類する。
このタスクは、モデルが情報を積極的に保持し、取り出す能力を直接調査し、拡張された会話コンテキストにおけるメモリの重要な尺度として機能する。
最新のLLMとDiaLongにおけるメモリ拡張の提案の両方をテストする際に、より優れたメモリ性能でLLMを実現するためには、より多くの作業が必要であることを実証する。
メモリ能力の向上により、LLMは、拡張された会話におけるコヒーレンス、関連性、人間のような相互作用の維持を改善することができる。
これらの機能を改善することで、LLMはさまざまな対話シナリオにおいて、多様なユーザニーズと期待を満たすことができます。
関連論文リスト
- EvolMem: A Cognitive-Driven Benchmark for Multi-Session Dialogue Memory [63.84216832544323]
EvolMemは、大規模言語モデル(LLM)とエージェントシステムのマルチセッションメモリ機能を評価するための新しいベンチマークである。
このベンチマークを構築するために,話題から始まる生成と物語から着想を得た変換からなるハイブリッドデータ合成フレームワークを提案する。
広範囲な評価により、LLMが全てのメモリ次元で常に他よりも優れていることが分かる。
論文 参考訳（メタデータ） (2026-01-07T03:14:42Z) - Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs [28.807582003957005]
本稿では,長期記憶を必要とするタスクに対する大規模言語モデル(LLM)の能力を評価するためのフレームワークを提案する。
次に、100の会話と2000の検証済みの質問からなる新しいベンチマークであるBEAMを構築します。
モデル性能を向上させるために,LLMに3つの相補的メモリシステムを備えたLIGHT-aフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-31T07:29:52Z) - MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。
実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文 参考訳（メタデータ） (2024-04-17T18:13:16Z) - Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [30.48902594738911]
長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。
本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
論文 参考訳（メタデータ） (2023-08-29T04:59:53Z) - SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-26T07:25:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。