論文の概要: HiNS: Hierarchical Negative Sampling for More Comprehensive Memory Retrieval Embedding Model

• arxiv url: http://arxiv.org/abs/2601.14857v1
• Date: Wed, 21 Jan 2026 10:39:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.332792
• Title: HiNS: Hierarchical Negative Sampling for More Comprehensive Memory Retrieval Embedding Model
• Title（参考訳）: HiNS: より包括的なメモリ検索型埋め込みモデルのための階層的ネガティブサンプリング
• Authors: Motong Tian, Allen P. Wong, Mingjun Mao, Wangchunshu Zhou,
• Abstract要約: 既存のトレーニングデータ構築は、負のサンプルの階層的難しさという、重大な制限を見落としている。 本稿では, 負のサンプル難易度を明示的にモデル化し, 経験的基礎となる負の比率を組み込む, 基本データ構築フレームワークHiNSを提案する。
• 参考スコア（独自算出の注目度）: 19.485780251890322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory-augmented language agents rely on embedding models for effective memory retrieval. However, existing training data construction overlooks a critical limitation: the hierarchical difficulty of negative samples and their natural distribution in human-agent interactions. In practice, some negatives are semantically close distractors while others are trivially irrelevant, and natural dialogue exhibits structured proportions of these types. Current approaches using synthetic or uniformly sampled negatives fail to reflect this diversity, limiting embedding models' ability to learn nuanced discrimination essential for robust memory retrieval. In this work, we propose a principled data construction framework HiNS that explicitly models negative sample difficulty tiers and incorporates empirically grounded negative ratios derived from conversational data, enabling the training of embedding models with substantially improved retrieval fidelity and generalization in memory-intensive tasks. Experiments show significant improvements: on LoCoMo, F1/BLEU-1 gains of 3.27%/3.30%(MemoryOS) and 1.95%/1.78% (Mem0); on PERSONAMEM, total score improvements of 1.19% (MemoryOS) and 2.55% (Mem0).
• Abstract（参考訳）: メモリ拡張言語エージェントは、効果的なメモリ検索のための埋め込みモデルに依存している。 しかし、既存のトレーニングデータ構築は、負のサンプルの階層的難易度と人間とエージェントの相互作用におけるそれらの自然な分布という、重大な制限を見落としている。 実際には、いくつかの否定は意味論的に近づき、他は自明に無関係であり、自然な対話はこれらのタイプの構造化された比率を示す。 合成または一様にサンプリングされた負を用いた現在のアプローチでは、この多様性を反映できず、埋め込みモデルの堅牢なメモリ検索に不可欠なニュアンス付き識別を学習する能力を制限する。 本研究では, 負のサンプル難易度を明示的にモデル化し, 会話データから得られる経験的根拠の負の比率を組み込むことにより, メモリ集約型タスクにおける検索精度を大幅に向上した埋め込みモデルのトレーニングと一般化を可能にする, 原理化されたデータ構築フレームワークHiNSを提案する。 LoCoMoでは、F1/BLEU-1のゲインは3.27%/3.30%(MemoryOS)、1.95%/1.78%(Mem0)、PERSONAMEMでは1.19%(MemoryOS)、2.55%(Mem0)である。

関連論文リスト

• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Dissecting Long-Chain-of-Thought Reasoning Models: An Empirical Study [91.78803511141975]
  この研究は、強化学習のスケーリングにおける正と負のサンプルの役割に焦点を当てている。 グループ相対的政策最適化において、サンプルの半数以上がゼロの優位性を持つような実質的なデータ非効率性を同定する。 本研究では,様々な推論モデルとベンチマークの不安定な性能について検討し,不明瞭な結果を伴う不確実な問題に対する不安定性について考察した。
  論文  参考訳（メタデータ） (2025-06-05T11:47:10Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Redistribute Ensemble Training for Mitigating Memorization in Diffusion Models [31.92526915009259]
  拡散モデルは非常に高品質なサンプルを生成する能力で知られている。 最近のメモリ緩和法は、主にテキストモダリティの文脈における問題に対処している。 本稿では,視覚的モダリティの観点からの拡散モデルの新たな手法を提案する。
  論文  参考訳（メタデータ） (2025-02-13T15:56:44Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。