論文の概要: FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
- arxiv url: http://arxiv.org/abs/2609.26095v1
- Date: Thu, 06 Aug 2026 14:52:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.874225
- Title: FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
- Title（参考訳）: FusionMMT:核融合のための統合マルチモーダル・マルチタスク学習フレームワーク
- Abstract要約: トカマクは磁気核融合における主要なアプローチの1つである。
既存のインテリジェント診断手法は、主にマルチモーダル・シングルタスク・ラーニングまたはユニモーダル・マルチタスク・ラーニングに限られる。
We present FusionMMT, a first unified multimodal multitask framework for intelligent tokamak plasma diagnosiss。
- 参考スコア（独自算出の注目度）: 12.278814641120738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the growing global demand for energy, nuclear fusion has emerged as a promising direction for future clean energy. Tokamaks represent one of the leading approaches to magnetic-confinement fusion. Achieving high-performance, long-pulse, and steady-state operation requires effective diagnosis of plasma states. However, existing intelligent diagnostic methods are largely limited to either multimodal single-task or unimodal multitask learning, while a unified multimodal multitask learning framework remains underexplored. To address this gap, we construct EAST-VTD640, a multimodal multitask dataset that integrates vision and time-series diagnostics from 640 EAST shots for disruption prediction, edge-localized mode (ELM) recognition, and H98 regression. On this basis, we present FusionMMT, the first unified multimodal multitask framework for intelligent tokamak plasma diagnostics. FusionMMT employs multi-scale, time-aware, and variable-aware modeling to handle heterogeneous sampling rates and the high computational cost of high-frequency sequences. It further combines task-adaptive multimodal fusion with progressive multitask optimization to learn shared and task-specific representations while mitigating cross-task conflicts and optimization imbalance. Extensive experiments on EAST-VTD640 show that FusionMMT outperforms representative multimodal multitask methods across disruption prediction, ELM recognition, and H98 regression. The source code will be released on https://github.com/Event-AHU/OpenFusion
- Abstract（参考訳）: 世界のエネルギー需要の増大に伴い、核融合は将来のクリーンエネルギーにとって有望な方向として現れてきた。
トカマクは磁気核融合における主要なアプローチの1つである。
高性能、長パルス、定常動作を実現するには、血漿状態の効果的な診断が必要である。
しかし、既存のインテリジェントな診断手法は、主にマルチモーダル・シングルタスクとユニモーダル・マルチタスク・ラーニングに限られる一方、統一マルチモーダル・マルチタスク・ラーニング・フレームワークはいまだ検討されていない。
このギャップに対処するために、EAST-VTD640というマルチモーダル・マルチタスク・データセットを構築し、破壊予測、エッジローカライズド・モード(ELM)認識、H98回帰のための640のEAST画像から視覚と時系列の診断を統合する。
そこで本研究では,知的トカマクプラズマ診断のための最初の統合マルチモーダルマルチタスクフレームワークFusionMMTを提案する。
FusionMMTは、マルチスケール、タイムアウェア、可変アウェアのモデリングを用いて、異種サンプリングレートと高周波シーケンスの計算コストの高い処理を行う。
さらに、タスク適応型マルチモーダル融合とプログレッシブマルチタスク最適化を組み合わせることで、タスク間の競合を緩和し、最適化の不均衡を緩和しながら、共有およびタスク固有の表現を学習する。
EAST-VTD640の大規模な実験により、FusionMMTは破壊予測、EMM認識、H98回帰で代表的マルチタスク手法より優れていた。
ソースコードはhttps://github.com/Event-AHU/OpenFusionで公開される。
関連論文リスト
- Brain-Inspired Multimodal Spiking Neural Network for Image-Text Retrieval [79.04396446873932]
スパイキングニューラルネットワーク(SNN)は、最近、視覚的タスクとテキストタスクに強い可能性を示している。
画像テキスト検索(ITR)のようなマルチモーダルアプリケーションのための直接訓練され、低エネルギーで高性能なSNNを構築することは、依然として非常に困難である。
我々は脳にインスパイアされたクロスモーダルスパイク・フュージョン・ネットワーク(CMSF)を提案し、初めてITRに適用した。
論文 参考訳（メタデータ） (2026-03-25T08:41:07Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳（メタデータ） (2025-08-08T10:01:16Z) - DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection [37.701518424351505]
うつ病は世界中で何百万人もの人に影響を及ぼす一般的な精神疾患である。
DepMambaと呼ばれるマルチモーダル抑うつ検出のための音声-視覚的プログレッシブ・フュージョン・マンバを提案する。
論文 参考訳（メタデータ） (2024-09-24T09:58:07Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳（メタデータ） (2023-06-29T03:02:20Z) - Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
動的マルチモーダル融合は、有望な学習パラダイムとして現れる。
広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。
本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。
QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-03T08:32:35Z) - Multimodal Channel-Mixing: Channel and Spatial Masked AutoEncoder on
Facial Action Unit Detection [12.509298933267225]
本稿では,MCM(Multimodal Channel-Mixing)と呼ばれる新しいマルチモーダル再構成ネットワークを提案する。
このアプローチは、Channel-Mixingモジュールを統合して、5つのうち2つをランダムにドロップする、初期の融合設定に従っている。
このモジュールはチャネルの冗長性を低下させるだけでなく、マルチモーダル学習と再構成機能も促進し、ロバストな特徴学習をもたらす。
論文 参考訳（メタデータ） (2022-09-25T15:18:56Z) - Progressive Fusion for Multimodal Integration [12.94175198001421]
本稿では,後期融合表現の問題を緩和する,プログレッシブ・フュージョン(Progressive Fusion)と呼ばれる反復的表現洗練手法を提案する。
提案手法は,MSEの5%削減,マルチモーダル時系列予測におけるロバストネスの40%向上など,一貫した性能向上を図っている。
論文 参考訳（メタデータ） (2022-09-01T09:08:33Z) - Dynamic Multimodal Fusion [8.530680502975095]
動的マルチモーダル融合(DynMM)は,マルチモーダルデータを適応的に融合し,推論中にデータ依存の前方経路を生成する新しい手法である。
様々なマルチモーダルタスクの結果は、我々のアプローチの効率性と幅広い適用性を示している。
論文 参考訳（メタデータ） (2022-03-31T21:35:13Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳（メタデータ） (2021-12-04T05:47:54Z) - Sparse Fusion for Multimodal Transformers [7.98117428941095]
Sparse Fusion Transformers (SFT) は, トランスの新しい多モード融合法である。
我々のアイデアの鍵は、モダリティ間のモデリングに先立って単調なトークンセットを減らすスパースプールブロックである。
最新の性能は、同様の実験条件下で複数のベンチマークで得られ、計算コストとメモリ要求の最大6倍の削減を報告している。
論文 参考訳（メタデータ） (2021-11-23T16:43:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。