論文の概要: Memory-Inspired Temporal Prompt Interaction for Text-Image Classification

• arxiv url: http://arxiv.org/abs/2401.14856v1
• Date: Fri, 26 Jan 2024 13:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-29 15:02:49.226401
• Title: Memory-Inspired Temporal Prompt Interaction for Text-Image Classification
• Title（参考訳）: テキスト画像分類のためのメモリインスパイアされた時間的プロンプト相互作用
• Authors: Xinyao Yu, Hao Sun, Ziwei Niu, Rui Qin, Zhenjia Bai, Yen-Wei Chen, Lanfen Lin
• Abstract要約: 我々は、人間の記憶戦略、すなわちメモリインスパイアされたテンポラルプロンプトインタラクション(MITP)にインスパイアされた、新しいプロンプトベースのマルチモーダルインタラクション戦略を提案する。 我々は、中間層上の時間的プロンプトを利用して取得段階を模倣し、類似性に基づくプロンプト相互作用を利用してメモリ統合を模倣し、メモリアクティベーションを模倣するプロンプト生成戦略を採用する。 比較的少ないメモリ使用量とトレーニング可能なパラメータの2.0Mのデータセットで競合する結果が得られる。
• 参考スコア（独自算出の注目度）: 13.449375069856684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, large-scale pre-trained multimodal models (LMM) generally emerge to integrate the vision and language modalities, achieving considerable success in various natural language processing and computer vision tasks. The growing size of LMMs, however, results in a significant computational cost for fine-tuning these models for downstream tasks. Hence, prompt-based interaction strategy is studied to align modalities more efficiently. In this contex, we propose a novel prompt-based multimodal interaction strategy inspired by human memory strategy, namely Memory-Inspired Temporal Prompt Interaction (MITP). Our proposed method involves in two stages as in human memory strategy: the acquiring stage, and the consolidation and activation stage. We utilize temporal prompts on intermediate layers to imitate the acquiring stage, leverage similarity-based prompt interaction to imitate memory consolidation, and employ prompt generation strategy to imitate memory activation. The main strength of our paper is that we interact the prompt vectors on intermediate layers to leverage sufficient information exchange between modalities, with compressed trainable parameters and memory usage. We achieve competitive results on several datasets with relatively small memory usage and 2.0M of trainable parameters (about 1% of the pre-trained foundation model).
• Abstract（参考訳）: 近年、大規模事前学習型マルチモーダルモデル (LMM) が一般的に出現し、様々な自然言語処理やコンピュータビジョンタスクでかなりの成功を収めている。 しかし、LMMのサイズが大きくなると、下流タスクのためにこれらのモデルを微調整するのにかなりの計算コストがかかる。 したがって、より効率的にモダリティを調整するために、プロンプトベースの相互作用戦略が研究される。 本稿では,人間の記憶戦略に触発された新しいプロンプトベースマルチモーダルインタラクション戦略,すなわち記憶に触発された時間的プロンプトインタラクション(mitp)を提案する。 提案手法は,人間の記憶戦略として,獲得段階と統合・活性化段階の2段階を含む。 中間層上の時間的プロンプトを利用して獲得ステージを模倣し、類似性に基づくプロンプトインタラクションを利用してメモリ統合を模倣し、プロンプト生成戦略を用いてメモリ活性化を模倣する。 本論文の主な強みは,中間層上でプロンプトベクトルを相互作用させることで,圧縮学習可能なパラメータとメモリ使用量で,モダリティ間の十分な情報交換を実現することである。 メモリ使用量が比較的少なく、トレーニング可能なパラメータの2.0M(事前学習された基礎モデルの約1%)で競合する結果が得られる。

関連論文リスト

• Hierarchical Memory for High-Efficiency Long-Term Reasoning in LLM Agents [19.04968632268433]
  大規模言語モデルエージェント(LLMエージェント)のための階層型メモリアーキテクチャを提案する。 各メモリベクトルは、次の層のセマンティック関連サブメモリを指し示す位置インデックスが埋め込まれている。 推論フェーズにおいて、インデックスベースのルーティング機構は、網羅的な類似性計算を行うことなく、効率的な層間検索を可能にする。
  論文  参考訳（メタデータ） (2025-07-23T12:45:44Z)
• EPIC: Efficient Prompt Interaction for Text-Image Classification [12.278321407201458]
  大規模事前訓練型マルチモーダルモデル(LMM)は一般的にビジョンと言語モダリティを統合するために出現する。 テキスト画像分類(EPIC:Efficient Prompt Interaction for text-image Classification)のための新しい効率的なプロンプトベースのマルチモーダルインタラクション戦略を提案する。 本手法は,他の微調整手法と比較して,計算資源消費量の削減と訓練可能なパラメータの削減を実現する。
  論文  参考訳（メタデータ） (2025-07-10T04:15:44Z)
• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• MMRL++: Parameter-Efficient and Interaction-Aware Representation Learning for Vision-Language Models [4.828668077793944]
  マルチモーダル表現学習は、テキストと画像エンコーダの両方に投影された空間トークンを表現トークンとして生成する。 MML++はパラメータ効率と対話性を考慮した拡張で、トレーニング可能なパラメータを大幅に削減する。 15データセットの実験では、MMRLとMMRL++が一貫して最先端のメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-15T08:43:53Z)
• Cognitive Memory in Large Language Models [8.059261857307881]
  本稿では,Large Language Models (LLMs) における記憶機構について検討し,文脈に富む応答の重要性,幻覚の減少,効率の向上などを強調した。 メモリは、インプットプロンプト、短期記憶処理の即時コンテキスト、外部データベースや構造を介して実装された長期記憶に対応して、インプットプロンプト、短期記憶、長期記憶に分類する。
  論文  参考訳（メタデータ） (2025-04-03T09:58:19Z)
• On Memory Construction and Retrieval for Personalized Conversational Agents [69.46887405020186]
  本稿では,セグメンテーションモデルを導入し,セグメントレベルでメモリバンクを構築するセグメンテーション手法であるSeComを提案する。 実験結果から,SeComは長期会話ベンチマークLOCOMOとLong-MT-Bench+のベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-02-08T14:28:36Z)
• InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
  本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。 このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
  論文  参考訳（メタデータ） (2024-12-12T18:58:30Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Human-like Episodic Memory for Infinite Context LLMs [13.211261438927798]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、それでも広範なコンテキストの処理に苦戦している。 本研究では,人間のエピソード記憶と事象認知をLLMに組み込む新しいアプローチであるEM-LLMを紹介する。 EM-LLMは、ベイジアン・サプライズとグラフ理論境界修正の組み合わせを用いて、トークンの列をコヒーレントなエピソード事象に整理する。
  論文  参考訳（メタデータ） (2024-07-12T17:34:03Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• UniMC: A Unified Framework for Long-Term Memory Conversation via Relevance Representation Learning [15.313416157905685]
  We propose a Unified framework for Long-term Memory Conversations (UniMC)。 主タスクを確率グラフに基づいて3つのサブタスクに分解する。 各サブタスクは、クエリとメモリ間の関連性を計算するための表現を学習する。
  論文  参考訳（メタデータ） (2023-06-18T12:30:50Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• METEOR: Learning Memory and Time Efficient Representations from Multi-modal Data Streams [19.22829945777267]
  本稿では,Memory and Time Efficient Online Representation Learning(METEOR)について紹介する。 従来のメモリ集約型埋め込みと比較して,METEORはメモリ使用量を約80%削減しつつ,表現の質を保っていることを示す。
  論文  参考訳（メタデータ） (2020-07-23T08:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。