論文の概要: Parametric Multimodal User Memory: Storing What Captions Cannot Carry

• arxiv url: http://arxiv.org/abs/2608.28609v1
• Date: Wed, 08 Jul 2026 10:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.405327
• Title: Parametric Multimodal User Memory: Storing What Captions Cannot Carry
• Title（参考訳）: パラメトリックなマルチモーダルユーザメモリ - キャリーにできない機能
• Abstract要約: パーソナライズされたエージェントには、ユーザメモリ — ユーザが誰であるかの永続的なモデルが必要です。 強力なキャプションベースの再識別器は、専用エンコーダのリコールの0.11まで回復する。 代わりに、モデル内の知覚記憶を基盤として、リコールを2つのサブプロブレムに分解する。
• 参考スコア（独自算出の注目度）: 0.33451037881913753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A personalized agent needs a user memory: a persistent model of who its user is. Today it is almost always text -- transcripts and captions retrieved by similarity. This serves the captionable half of a person ("my cat is named Bibi"), but discards the perceptual half no caption can hold: how a voice sounds, how a face reads across age and lighting, how tired someone sounds. We measure this loss across five modalities: a strong caption-based re-identifier recovers as little as 0.11 of a dedicated encoder's recall, collapsing toward chance on non-nameable signals. We instead ground perceptual memory in the model, decomposing recall into two subproblems: a vision-language model grounds the referent in context (what and where), and a dedicated encoder extracts an identity key (who), stored as one inline token read by attention at generation with no external round-trip. Neither suffices alone -- the VLM identifies cross-age faces at only 0.54 recall where a face encoder reaches 0.81, and an ungrounded encoder recognizes a two-person-scene referent at 0.05 -- yet together they reach correct-region oracle (0.96), generalizing to multi-speaker audio and video. The recognition core is training-free: it reproduces the encoder's recall on any frozen model at O(1) registration cost. On PerceptMem (12 domains, 1,080 tasks) perceptual identity is capacity-limited while exact facts are binding-limited: identity belongs in a parametric bank, facts in a text store. The two memories compose cleanly: an agent with both can remember not only what its user said, but also what they are like.
• Abstract（参考訳）: パーソナライズされたエージェントには、ユーザメモリ — ユーザが誰であるかの永続的なモデルが必要です。 今日ではほぼ常にテキストであり、類似性によって検索された文字やキャプションが書き起こされている。 これは、人のキャプション可能な半分(私の猫はビビ(Bibi)という名前)を提供するが、キャプションが持たない知覚的な半分のキャプション、音声の音、年齢や照明の読み方、疲れた誰かの音などを捨てる。 強いキャプションベースの再識別器は、専用エンコーダのリコールの0.11まで回復し、名前のつかない信号の確率に向かって崩壊する。 視覚言語モデルは、コンテキスト内で参照者(何とどこに)を接地させ、専用エンコーダは、外部のラウンドトリップのない世代に注意して読み取った1つのインライントークンとして格納されたIDキー(誰)を抽出する。 どちらも、VLMは、顔エンコーダが0.81に達するときの年齢差のリコールをわずか0.54で、アングラウンドのエンコーダは0.05で2対1のレファレンスを認識するが、同時に正しい領域のオラクル(0.96)に到達し、マルチスピーカーのオーディオとビデオに一般化する。 認識コアはトレーニング不要で、O(1)登録コストで任意の凍結モデル上でエンコーダのリコールを再現する。 PerceptMem(12のドメイン、1,080のタスク)では、知覚的アイデンティティはキャパシティに制限され、正確な事実はバインディングに制限されている。 2つの記憶はきれいに構成される:両方のエージェントは、ユーザーが何を言ったかだけでなく、彼らがどんな人なのかを記憶することができる。

関連論文リスト

• VoiceLongMemEval: Do Assistants Remember How You Sounded? [2.3577368017815696]
  現在のベンチマークでは、この対話履歴を、長い地平線上の情報検索、時間的推論、知識更新として評価している。 我々はVoiceLongMemEvalベンチマークを示し、すべての回答は会話のターンに付随するパラ言語的メタデータに依存する。
  論文  参考訳（メタデータ） (2026-09-01T02:06:10Z)
• Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention [0.0]
  ノートブック」は、学習されたローカル書き込みゲートを備えた固定キーホログラフィック(HRR)連想ストアを有する。 書き込みトリガード・ドレッシングは、メモリ汚染を8倍の長さで排除する。 実験は事前登録され、シードが報告され、単一のフリー層GPUで再現可能である。
  論文  参考訳（メタデータ） (2026-08-31T07:35:03Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Surprise as a Signal for Plasticity and Metacognition [0.0]
  予測エラー信号は可塑性のゲートとして機能し,メタ認知の基盤として機能する。 本稿では,両システムを概念実証として明示的な制約で報告し,近年のエピソード・メモリとパーソナライズド・VLMの作業に対して第2位と位置づける。
  論文  参考訳（メタデータ） (2026-06-30T11:14:04Z)
• Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition [11.240427393015034]
  テスト時ニューラルメモリは、大きなオーディオ言語モデルをバックボーンに残しながら、この不足したコンテキストを供給できるかどうかを調査する。 我々は,対話履歴を小さなニューラルメモリに書き込むための,プラグアンドプレイ型メモリ・アズ・ア・レイヤ(MAL)アダプタを導入し,オーディオトーケンに整合した残差更新として読み返す。
  論文  参考訳（メタデータ） (2026-06-07T11:07:30Z)
• ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA [63.95311560556552]
  既存のビデオパーソナライズ手法は、視覚的類似性を保ちながら、ビデオとオーディオを別々に扱う。 被験者の外観と音声を1つのモデルで共同生成するID-LoRAを提案する。 人間の嗜好研究において、ID-LoRA は Kling 2.6 Pro よりも 73% のアノテータが音声に類似し、65% が話し方で好まれる。
  論文  参考訳（メタデータ） (2026-03-10T22:23:36Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Self-supervised Learning with Random-projection Quantizer for Speech Recognition [51.24368930992091]
  音声認識のためのシンプルで効果的な自己教師型学習手法を提案する。 このアプローチは、離散ラベルの形で、マスキングされた音声信号を予測するモデルを学ぶ。 非ストリーミングモデルを用いた自己教師付き学習を用いて、従来の作業と同じような単語エラー率を達成する。
  論文  参考訳（メタデータ） (2022-02-03T21:29:04Z)
• Protecting gender and identity with disentangled speech representations [49.00162808063399]
  音声における性情報保護は,話者識別情報のモデル化よりも効果的であることを示す。 性別情報をエンコードし、2つの敏感な生体識別子を解読する新しい方法を提示する。
  論文  参考訳（メタデータ） (2021-04-22T13:31:41Z)
• Unsupervised Learning of Disentangled Speech Content and Style Representation [28.874492958635038]
  本稿では,内容やスタイルを異にする音声表現の教師なし学習手法を提案する。 本モデルは,(1)フレーム単位の情報をキャプチャするローカルエンコーダ,(2)発話単位の情報をキャプチャするグローバルエンコーダ,(3)局所およびグローバル潜在変数を再構成する条件付きデコーダから構成される。
  論文  参考訳（メタデータ） (2020-10-24T20:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。