論文の概要: From Seeing to Remembering: Brain-Informed Agentic Text-to-Video Generation for Enhancing Memorability
- arxiv url: http://arxiv.org/abs/2611.15107v1
- Date: Wed, 11 Nov 2026 06:34:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.066571
- Title: From Seeing to Remembering: Brain-Informed Agentic Text-to-Video Generation for Enhancing Memorability
- Title(参考訳): 振り返りから思い出へ:記憶力を高める脳インフォームドエージェントテキストからビデオ生成
- Abstract要約: 本稿では,脳内インフォームドアプローチであるMemCrafterを提案する。
人間の記憶には複雑な神経プロセスが含まれており、モデル化が困難で生成誘導に変換されるため、記憶可能性指向のテキスト・ビデオ生成はいまだ探索されていない。
- 参考スコア(独自算出の注目度): 14.064702303473426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating videos that faithfully convey intended semantics while remaining memorable to viewers is valuable for applications such as advertising, education, and storytelling. However, memorability-oriented text-to-video generation remains underexplored, as human memory involves complex neural processes that are difficult to model and translate into generation guidance. In this paper, we propose MemCrafter, brain-informed approach that enhances video memorability through iteratively agentic prompt refinement. The agentic framework contains two key components. First, we construct a cortical region-based neuro-memorability signal that predicts video memorability from estimated neural responses, providing both an optimization objective and interpretable region-level information. Second, we develop a sensitivity-aware feedback module, motivated by a conceptual sensitivity analysis of the optimization objective, to derive actionable guidance for prompt refinement while preserving semantic fidelity. Extensive experiments demonstrate that MemCrafter consistently improves predicted video memorability while maintaining semantic alignment and perceptual quality.
- Abstract(参考訳): 意図した意味を忠実に伝えながら視聴者に記憶に残るビデオを生成することは、広告、教育、ストーリーテリングなどのアプリケーションに有用である。
しかし、人間の記憶には、モデル化が困難で生成誘導に変換する複雑な神経プロセスが伴うため、記憶可能性指向のテキスト・ビデオ生成は未解明のままである。
本稿では、反復的エージェント的プロンプトリファインメントによるビデオ記憶性を高める脳インフォームドアプローチであるMemCrafterを提案する。
エージェントフレームワークには2つの重要なコンポーネントが含まれている。
まず,大脳皮質領域をベースとしたニューラルメモリビリティ信号を構築し,推定されたニューラルレスポンスから映像の記憶可能性を予測し,最適化目標と解釈可能な領域レベルの情報の両方を提供する。
第2に,最適化目標の概念的感度分析に動機づけられた感性認識フィードバックモジュールを開発し,意味的忠実性を維持しつつ,迅速な改善のための実用的なガイダンスを導出する。
大規模な実験により、MemCrafterは、セマンティックアライメントと知覚品質を維持しながら、予測されたビデオの暗記性を一貫して改善している。
関連論文リスト
- SE-Mem: Semantic-Episodic Memory for Scene-Consistent Generative View Synthesis [38.00010950017275]
生成的ビュー合成は、ユーザが定義したカメラ軌跡に沿った参照観察から新規ビュービデオを合成することを目的としている。
既存のアプローチでは、通常、カメラのポーズのみに基づいて参照フレームを選択し、コンテンツが意味論的に関連付けられているか、あるいは見えているかを見落としている。
セマンティック・エポソディック・メモリのフレームワークであるSE-Memを導入し、構造化された3次元表現における歴史的観察を整理し、その要素を意味的重要度スコアで拡張する。
論文 参考訳(メタデータ) (2026-10-31T05:41:10Z) - A Spatiotemporal Semantic Importance-Guided Unified Compression and Editing Framework for AI-Generated Videos [39.80975928890688]
本稿では,AI生成ビデオの統一的な圧縮・編集フレームワークを提案する。
本フレームワークでは,送信方法,送信方法,解決方法,送信側情報の使用方法の3つの意味的重要度誘導手法を設計する。
論文 参考訳(メタデータ) (2026-10-05T04:24:17Z) - Versatile Framework with Semantic and Structural guidance for Image Reconstruction from Brain Activity [17.625829377712492]
我々はMindDiffuserと呼ばれる2段階の画像再構成フレームワークを提案する。
ステージ1では、脳反応からデコードされたContrastive Language-Image Pretraining (CLIP)テキスト埋め込みが安定拡散に入力され、予備画像を生成する。
ステージ2では、復号された浅いCLIP視覚特徴を監視信号として使用し、ステージ1からバックプロパゲーションを介して特徴ベクトルを反復的に精製して構造情報を整列させる。
論文 参考訳(メタデータ) (2026-05-28T09:20:10Z) - FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning [81.33341786837974]
Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。
FActual and Emotion Augmentation (FACE-net) を用いた検索強化フレームワークを提案する。
FACE-netは、事実と感情のセマンティクスを協調的にマイニングし、生成のための適応的で正確なガイダンスを提供する。
論文 参考訳(メタデータ) (2026-03-18T07:53:15Z) - REGENT: Relevance-Guided Attention for Entity-Aware Multi-Vector Neural Re-Ranking [5.279475826661643]
現在のニューラルリランカは、複雑な情報要求と、長くコンテンツに富んだドキュメントに悩まされることが多い。
本稿では,人体を「意味骨格」として用い,人間のような理解を模倣した神経再分類モデルREGENTを紹介する。
論文 参考訳(メタデータ) (2025-10-13T16:31:42Z) - DecoFuse: Decomposing and Fusing the "What", "Where", and "How" for Brain-Inspired fMRI-to-Video Decoding [82.91021399231184]
既存のfMRI-to-video法は、しばしば空間情報や動き情報を見下ろしながら意味的内容に焦点を当てる。
そこで我々は,fMRI信号から映像をデコードするための,脳にインスパイアされた新しいフレームワークであるDecoFuseを提案する。
まず、ビデオはセマンティック、空間、動きの3つのコンポーネントに分解し、次に各コンポーネントを別々にデコードしてから、ビデオを再構成する。
論文 参考訳(メタデータ) (2025-04-01T05:28:37Z) - FILS: Self-Supervised Video Feature Prediction In Semantic Language Space [11.641926922266347]
本稿では,セマンティックビデオ表現を学習するための自己教師型アプローチを示す。
本稿では,意味言語空間における特徴予測手法であるFILSについて述べる。
論文 参考訳(メタデータ) (2024-06-05T16:44:06Z) - Video-Teller: Enhancing Cross-Modal Generation with Fusion and
Decoupling [79.49128866877922]
Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。
Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。
大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
論文 参考訳(メタデータ) (2023-10-08T03:35:27Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。