Fugu-MT 論文翻訳(概要): Learning to Learn from Multimodal Experience

論文の概要: Learning to Learn from Multimodal Experience

arxiv url: http://arxiv.org/abs/2605.16857v1
Date: Sat, 16 May 2026 07:41:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-19 17:57:47.202459
Title: Learning to Learn from Multimodal Experience
Title（参考訳）: マルチモーダル体験から学ぶ
Authors: Xingyu Sui, Weixiang Zhao, Yongxin Tang, Yanyan Zhao, Yang Wu, Dandan Tu, Bing Qin,
Abstract要約: 本稿では,メモリ設計を事前定義されたコンポーネントから適応的で学習可能なプロセスにシフトさせる,マルチモーダル体験から学習する新しいパラダイムを提案する。我々のフレームワークは,タスク要求やインタラクション履歴に基づいて,エージェントが動的にメモリを構築し,整理し,利用することを可能にする。
参考スコア（独自算出の注目度）: 47.89568710518191
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Experience-driven learning has emerged as a promising paradigm for enabling agents to improve from interaction trajectories by accumulating and reusing past experience. However, existing approaches are predominantly developed in textual settings and rely on manually designed memory schemas, limiting their applicability to multimodal environments. In real-world scenarios, experience is inherently multimodal, involving heterogeneous signals across perception, reasoning, and action, which makes effective memory design significantly more challenging. In particular, the optimal way to structure and utilize multimodal experience is highly task-dependent and evolves over time, rendering fixed memory designs insufficient. In this work, we propose a new paradigm, learning to learn from multimodal experience, which shifts memory design from a predefined component to an adaptive and learnable process. Our framework enables agents to dynamically construct, organize, and utilize memory based on task requirements and interaction history, effectively learning how to structure experience for improved performance. Experiments demonstrate that adaptive memory design substantially enhances agent performance and generalization across multimodal tasks, highlighting the critical role of learning memory mechanisms in experience-driven learning.
Abstract（参考訳）: 経験駆動学習は、エージェントが過去の経験を蓄積し再利用することによって相互作用軌道から改善できる有望なパラダイムとして登場した。しかし、既存のアプローチは主にテキスト設定で開発されており、手動で設計したメモリスキーマに依存しており、マルチモーダル環境に適用可能である。実世界のシナリオでは、経験は本質的にマルチモーダルであり、知覚、推論、行動にまたがる異質な信号を含むため、効果的なメモリ設計は極めて困難である。特に、マルチモーダル体験を最適に構築し活用する方法はタスク依存度が高く、時間とともに進化し、固定メモリの設計は不十分である。本研究では,メモリ設計を事前定義されたコンポーネントから適応的で学習可能なプロセスにシフトさせる,マルチモーダル体験から学習する新たなパラダイムを提案する。本フレームワークでは,タスク要求やインタラクション履歴に基づいてメモリを動的に構築,整理,利用することが可能で,パフォーマンス向上のためのエクスペリエンス構築方法を効果的に学べる。実験により,適応型メモリ設計はマルチモーダルタスクにおけるエージェント性能と一般化を著しく向上させ,経験駆動学習における学習記憶機構の重要な役割を浮き彫りにした。

関連論文リスト

BrainMem: Brain-Inspired Evolving Memory for Embodied Agent Task Planning [17.072340201392723]
エージェントは複雑な3D環境で長期的、ゴール指向のアクションを実行する必要がある。本稿では,人間の認知に触発された動作,エピソード,セマンティックメモリを具備した,非トレーニング型階層型メモリシステムBrainMemを提案する。
論文参考訳（メタデータ） (2026-03-12T17:54:42Z)
Learning to Continually Learn via Meta-learning Agentic Memory Designs [22.10429892509733]
ALMA(Automated Meta-Learning of Memory Design for Agentic Systems)は、手作業によるメモリ設計を置き換えるために、メモリ設計をメタ学習するフレームワークである。提案手法では,実行可能コードとして表現されたメモリ設計をオープンな方法で検索するメタエージェントを用いる。
論文参考訳（メタデータ） (2026-02-08T01:20:49Z)
MemVerse: Multimodal Memory for Lifelong Learning Agents [35.218549149012844]
我々は,モデルに依存しないプラグアンドプレイメモリフレームワークであるMemVerseを紹介した。 MemVerseは階層的検索ベースのメモリで高速パラメトリックリコールを行う。スケーラブルで適応的なマルチモーダルインテリジェンスを実現する。
論文参考訳（メタデータ） (2025-12-03T10:06:14Z)
Multi-Modal Continual Learning via Cross-Modality Adapters and Representation Alignment with Knowledge Preservation [23.701550460744738]
獲得した知識を維持しながら、新しいタスクにモデルを適用するためには、継続的な学習が不可欠である。マルチモーダル連続学習のための事前学習型モデルベースフレームワークを提案する。我々のアプローチは、クラス・インクリメンタル・ラーニングとドメイン・インクリメンタル・ラーニングの両方において、一貫してベースラインを上回ります。
論文参考訳（メタデータ） (2025-11-10T05:33:41Z)
The Imperfect Learner: Incorporating Developmental Trajectories in Memory-based Student Simulation [55.722188569369656]
本稿では,メモリベースの学生シミュレーションのための新しいフレームワークを提案する。構造的知識表現を備えた階層記憶機構を通じて発達軌道を組み込む。実際に,次世代科学標準に基づくカリキュラム・アライン・シミュレータを実装した。
論文参考訳（メタデータ） (2025-11-08T08:05:43Z)
ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory [57.517214479414726]
ReasoningBankは、エージェントの自己判断の成功と失敗の経験から一般化可能な推論戦略を抽出するメモリフレームワークである。テスト時には、エージェントがReasoningBankから関連する記憶を取得してそのインタラクションを知らせ、新しい学習を統合することで、時間が経つにつれてより有能になる。本稿では,エージェントのインタラクションエクスペリエンスをスケールアップすることにより,学習プロセスの高速化と多様化を図るメモリ対応テストタイムスケーリング(MaTTS)を提案する。
論文参考訳（メタデータ） (2025-09-29T17:51:03Z)
Quantifying Cross-Modality Memorization in Vision-Language Models [86.82366725590508]
モーダリティ記憶のユニークな特徴について検討し,視覚言語モデルを中心とした体系的な研究を行う。以上の結果から,一方のモダリティが他方のモダリティに伝達されることが判明したが,情報源の情報と対象のモダリティの間には大きなギャップがあることがわかった。
論文参考訳（メタデータ） (2025-06-05T16:10:47Z)
Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2025-01-12T17:41:23Z)
RAM: Towards an Ever-Improving Memory System by Learning from Communications [32.904507659027516]
本稿では,RAMと呼ばれるメモリを改良した革新的なRAGベースのフレームワークを提案する。シミュレーションと実ユーザの両方による実験は、従来のRAG法や自己知識法よりも大幅に改善されている。 RAMは、様々なフィードバックと検索方法への有望な適応性を示し、動的知識獲得と生涯学習におけるAI能力の進歩の可能性を示している。
論文参考訳（メタデータ） (2024-04-18T09:58:51Z)
MEIA: Multimodal Embodied Perception and Interaction in Unknown Environments [82.67236400004826]
本稿では,自然言語で表現されたハイレベルなタスクを実行可能なアクションのシーケンスに変換するための,MEIA(Multimodal Embodied Interactive Agent)を提案する。 MEMモジュールは、多様な要件とロボットの能力に基づいて、MEIAが実行可能なアクションプランを生成することを可能にする。
論文参考訳（メタデータ） (2024-02-01T02:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。