論文の概要: Interactive Episodic Memory with User Feedback

• arxiv url: http://arxiv.org/abs/2604.24893v1
• Date: Mon, 27 Apr 2026 18:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.547678
• Title: Interactive Episodic Memory with User Feedback
• Title（参考訳）: ユーザフィードバックによる対話型エピソードメモリ
• Authors: Nikesh Subedi, Loris Bazzani, Ziad Al-Halah,
• Abstract要約: 質問・フィードバックタスク(EM-QnF)によるエピソード記憶の導入 ここでは、モデルの初期予測に関するフィードバックを提供したり、より多くの情報を追加したりすることができる。 本稿では,コストのかかる逐次最適化を回避する軽量なトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 14.503449526387776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In episodic memory with natural language queries (EM-NLQ), a user may ask a question (e.g., "Where did I place the mug?") that requires searching a long egocentric video, captured from the user's perspective, to find the moment that answers it. However, queries can be ambiguous or incomplete, leading to incorrect responses. Current methods ignore this key aspect and address EM-NLQ in a one-shot setup, limiting their applicability in real-world scenarios. In this work, we address this gap and introduce the Episodic Memory with Questions and Feedback task (EM-QnF). Here, the user can provide feedback on the model's initial prediction or add more information (e.g., "Before this. I'm looking for the big blue mug not the white one"), helping the model refine its predictions interactively. To this end, we collect datasets for feedback-based interaction and propose a lightweight training scheme that avoids expensive sequential optimization. We also introduce a plug-and-play Feedback ALignment Module (FALM) that enables existing EM-NLQ models to incorporate user feedback effectively. Our approach significantly improves over the state of the art on three challenging benchmarks and is better than or competitive with commercial large vision-language models while remaining efficient. Evaluation with human-generated feedback shows that it generalizes well to real-world scenarios.
• Abstract（参考訳）: 自然言語クエリ(EM-NLQ)を備えたエピソディックメモリでは、ユーザは質問(例えば、"Where did I place the mug? しかし、クエリは曖昧か不完全であり、誤った応答につながる可能性がある。 現在のメソッドでは、このキーとなる側面を無視して、EM-NLQをワンショットで処理することで、現実のシナリオでの適用性を制限している。 本稿では,このギャップに対処し,EM-QnF(Episodic Memory with Questions and Feedback Task)を導入する。 ここでは、モデルの初期予測に対するフィードバックを提供するか、より多くの情報を追加する(例えば、この前に。私は、白ではなく大きな青いマグカップを探している)ことで、モデルがインタラクティブに予測を洗練するのに役立つ。 この目的のために、フィードバックに基づくインタラクションのためのデータセットを収集し、高価なシーケンシャルな最適化を避けるための軽量なトレーニングスキームを提案する。 また、既存のEM-NLQモデルにユーザフィードバックを効果的に組み込むことのできる、プラグイン・アンド・プレイのフィードバックアライメント・モジュール(FALM)も導入する。 提案手法は,3つの試行錯誤ベンチマークの最先端よりも大幅に改善され,商用の大規模視覚言語モデルと競合する一方,効率は良好である。 人為的なフィードバックによる評価は、現実世界のシナリオによく当てはまることを示している。

関連論文リスト

• Do LLMs Benefit From Their Own Words? [56.73014497206615]
  先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。 アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:26Z)
• Interactive Reasoning: Visualizing and Controlling Chain-of-Thought Reasoning in Large Language Models [54.85405423240165]
  トピックの階層構造としてチェーンオブ思考出力を可視化するインタラクション設計であるInteractive Reasoningを導入する。 私たちは、不確実なトレードオフに直面したAIによる意思決定のプロトタイプであるHippoで、インタラクティブな推論を実装しています。
  論文  参考訳（メタデータ） (2025-06-30T10:00:43Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models [17.782410287625645]
  本稿では,質問応答,機械翻訳,電子メール作成などのタスクをカバーするベンチマークRefuteBenchを提案する。 評価の目的は、モデルが反響命令の形で肯定的にフィードバックを受けられるか、会話を通してユーザー要求に一貫して従えられるかを評価することである。
  論文  参考訳（メタデータ） (2024-02-21T01:39:56Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。