論文の概要: Nirvana: A Specialized Generalist Model With Task-Aware Memory Mechanism

• arxiv url: http://arxiv.org/abs/2510.26083v1
• Date: Thu, 30 Oct 2025 02:41:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.632392
• Title: Nirvana: A Specialized Generalist Model With Task-Aware Memory Mechanism
• Title（参考訳）: Nirvana:タスク認識メモリ機構を備えた特殊なジェネリストモデル
• Authors: Yuhua Jiang, Shuang Cheng, Yihao Liu, Ermo Hua, Che Jiang, Weigao Sun, Yu Cheng, Feifei Gao, Biqing Qi, Bowen Zhou,
• Abstract要約: 特殊汎用モデル(SGM)は、ターゲットドメインにおけるエキスパートレベルのパフォーマンスを達成しつつ、幅広い能力を維持することを目的としている。 我々は,特殊なメモリ機構,線形時間複雑性,テスト時間タスク情報抽出を備えたSGMであるNirvanaを提案する。
• 参考スコア（独自算出の注目度）: 50.24237923346775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Specialized Generalist Models (SGMs) aim to preserve broad capabilities while achieving expert-level performance in target domains. However, traditional LLM structures including Transformer, Linear Attention, and hybrid models do not employ specialized memory mechanism guided by task information. In this paper, we present Nirvana, an SGM with specialized memory mechanism, linear time complexity, and test-time task information extraction. Besides, we propose the Task-Aware Memory Trigger ($\textit{Trigger}$) that flexibly adjusts memory mechanism based on the current task's requirements. In Trigger, each incoming sample is treated as a self-supervised fine-tuning task, enabling Nirvana to adapt its task-related parameters on the fly to domain shifts. We also design the Specialized Memory Updater ($\textit{Updater}$) that dynamically memorizes the context guided by Trigger. We conduct experiments on both general language tasks and specialized medical tasks. On a variety of natural language modeling benchmarks, Nirvana achieves competitive or superior results compared to the existing LLM structures. To prove the effectiveness of Trigger on specialized tasks, we test Nirvana's performance on a challenging medical task, i.e., Magnetic Resonance Imaging (MRI). We post-train frozen Nirvana backbone with lightweight codecs on paired electromagnetic signals and MRI images. Despite the frozen Nirvana backbone, Trigger guides the model to adapt to the MRI domain with the change of task-related parameters. Nirvana achieves higher-quality MRI reconstruction compared to conventional MRI models as well as the models with traditional LLMs' backbone, and can also generate accurate preliminary clinical reports accordingly.
• Abstract（参考訳）: 特殊汎用モデル(SGM)は、ターゲットドメインにおけるエキスパートレベルのパフォーマンスを達成しつつ、幅広い能力を維持することを目的としている。 しかし、Transformer、Linear Attention、ハイブリッドモデルといった従来のLLM構造では、タスク情報によってガイドされる特別なメモリ機構は採用されていない。 本稿では,特殊なメモリ機構,線形時間複雑性,テスト時間タスク情報抽出を備えたSGMであるNirvanaについて述べる。 さらに、現在のタスクの要求に基づいて、メモリ機構を柔軟に調整するTask-Aware Memory Trigger($\textit{Trigger}$)を提案する。 Triggerでは、各サンプルは自己監督された微調整タスクとして扱われ、Nirvanaはそのタスク関連のパラメータをオンザフライでドメインシフトに適応させることができる。 また、Triggerによってガイドされたコンテキストを動的に記憶する特化メモリ更新器($\textit{Updater}$)を設計する。 我々は、一般的な言語タスクと専門的な医療タスクの両方で実験を行う。 様々な自然言語モデリングベンチマークにおいて、Nirvanaは既存のLLM構造と比較して、競争力や優れた結果が得られる。 特殊なタスクにおけるTriggerの有効性を証明するために,Nirvanaの医療課題であるMRI(Magnetic Resonance Imaging)において,Nirvanaのパフォーマンスを検証した。 凍結したNirvana背骨に2つの電磁信号とMRI画像を用いた軽量コーデックを装着した。 凍結したNirvanaのバックボーンにもかかわらず、Trigger氏は、タスク関連パラメータの変更でMRIドメインに適応するようにモデルをガイドしている。 Nirvanaは従来のMRIモデルや従来のLLMのバックボーンモデルよりも高品質なMRI再構成を実現し、それに従って正確な予備的臨床報告を生成することができる。

関連論文リスト

• Few-Shot Deployment of Pretrained MRI Transformers in Brain Imaging Tasks [2.982793366290863]
  種々の脳画像タスクにおいて,事前訓練したMRIトランスフォーマーを数発配置するためのフレームワークを提案する。 Masked Autoencoder (MAE) 事前学習戦略を利用することで,タスクやデータセット間でよく一般化された,高度に伝達可能な潜在表現が得られる。
  論文  参考訳（メタデータ） (2025-08-07T18:53:28Z)
• LLM-RG4: Flexible and Factual Radiology Report Generation across Diverse Input Contexts [14.72366043711941]
  現在の放射線学レポート生成モデルは、固定的なタスクパラダイムに制約されている。 本稿ではLLM-RG4という新しい大規模言語モデル(LLM)に基づくRRGフレームワークを提案する。 我々のモデルは入力非依存の幻覚を最小限に抑えているのに対し、現在のオープンソースモデルは一般的にこの問題に悩まされている。
  論文  参考訳（メタデータ） (2024-12-16T17:29:51Z)
• Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model [15.330413605539542]
  Scaffold Prompt Tuning (ScaPT)は、大規模な機能的磁気共鳴画像(fMRI)を下流タスクに適用するための新しいプロンプトベースのフレームワークである。 パラメータ効率が高く、微調整に比べて性能が向上し、プロンプトチューニングのベースラインも向上した。 ScaPTは、神経変性疾患の診断/予後と性格特性予測において、微調整とマルチタスクに基づく即時チューニングに優れる。
  論文  参考訳（メタデータ） (2024-08-20T06:08:37Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data [0.0]
  機能的磁気共鳴イメージング(fMRI)データを用いたトランスフォーマーのシーケンシャルトランスフォーメーション学習フレームワークを提案する。 第1フェーズでは、Next Thought Prediction上でスタック化されたエンコーダ変換アーキテクチャを事前訓練する。 第2フェーズでは、同じ音色を聴きながら、fMRIデータの2つのシーケンスが記録されたかどうかを予測する教師付きタスクにおいて、モデルを微調整し、新たなモデルを訓練する。
  論文  参考訳（メタデータ） (2023-05-22T16:58:26Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
  本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
  論文  参考訳（メタデータ） (2021-06-17T03:31:47Z)
• Overcoming Catastrophic Forgetting with Gaussian Mixture Replay [79.0660895390689]
  ガウス混合モデル(GMM)に基づく連続学習(CL)のためのリハーサルベースアプローチを提案する。 過去のタスクからサンプルを生成し,現在のトレーニングデータと統合することで,破滅的忘れ(cf)を緩和する。 複数の画像データセットでGMRを評価し,クラス別サブタスクに分割する。
  論文  参考訳（メタデータ） (2021-04-19T11:41:34Z)
• Attend and Decode: 4D fMRI Task State Decoding Using Attention Models [2.6954666679827137]
  我々は、Brain Attend and Decode (BAnD)と呼ばれる新しいアーキテクチャを提案する。 BAnDは残留畳み込みニューラルネットワークを用いて空間的特徴抽出と時間的モデリングを行う。 我々は,Human Connectome Project-Young Adult データセットの 7-task ベンチマークによる以前の研究と比較して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2020-04-10T21:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。