論文の概要: Incorporating brain-inspired mechanisms for multimodal learning in artificial intelligence

• arxiv url: http://arxiv.org/abs/2505.10176v1
• Date: Thu, 15 May 2025 11:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.29262
• Title: Incorporating brain-inspired mechanisms for multimodal learning in artificial intelligence
• Title（参考訳）: 人工知能におけるマルチモーダル学習のための脳インスパイアされたメカニズムの導入
• Authors: Xiang He, Dongcheng Zhao, Yang Li, Qingqun Kong, Xin Yang, Yi Zeng,
• Abstract要約: 脳は逆効果現象を呈し、弱く、より強い多感的な統合効果をもたらす。 この生物学的メカニズムに着想を得て,逆効果駆動型マルチモーダル融合(IEMF)戦略を提案する。 この戦略をニューラルネットワークに組み込むことで、モデル性能の向上と計算効率の向上により、より効率的な統合を実現する。
• 参考スコア（独自算出の注目度）: 12.09002670544188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning enhances the perceptual capabilities of cognitive systems by integrating information from different sensory modalities. However, existing multimodal fusion research typically assumes static integration, not fully incorporating key dynamic mechanisms found in the brain. Specifically, the brain exhibits an inverse effectiveness phenomenon, wherein weaker unimodal cues yield stronger multisensory integration benefits; conversely, when individual modal cues are stronger, the effect of fusion is diminished. This mechanism enables biological systems to achieve robust cognition even with scarce or noisy perceptual cues. Inspired by this biological mechanism, we explore the relationship between multimodal output and information from individual modalities, proposing an inverse effectiveness driven multimodal fusion (IEMF) strategy. By incorporating this strategy into neural networks, we achieve more efficient integration with improved model performance and computational efficiency, demonstrating up to 50% reduction in computational cost across diverse fusion methods. We conduct experiments on audio-visual classification, continual learning, and question answering tasks to validate our method. Results consistently demonstrate that our method performs excellently in these tasks. To verify universality and generalization, we also conduct experiments on Artificial Neural Networks (ANN) and Spiking Neural Networks (SNN), with results showing good adaptability to both network types. Our research emphasizes the potential of incorporating biologically inspired mechanisms into multimodal networks and provides promising directions for the future development of multimodal artificial intelligence. The code is available at https://github.com/Brain-Cog-Lab/IEMF.
• Abstract（参考訳）: マルチモーダル学習は、異なる感覚モーダルからの情報を統合することにより、認知システムの知覚能力を高める。 しかし、既存のマルチモーダル融合の研究は、通常、脳で見られる主要な動的メカニズムを完全に取り入れるものではない、静的な統合を前提としている。 特に、脳は逆効果現象を呈し、より弱く、より強い多感的な統合効果が得られ、逆に、個々のモーダルキューが強くなると、融合の効果が低下する。 このメカニズムにより、生物学的システムは知覚的手がかりが乏しくも、頑健な認知を達成できる。 この生物学的メカニズムにインスパイアされた我々は、逆効果駆動型マルチモーダル融合(IEMF)戦略を提案し、マルチモーダル出力と個々のモーダル情報との関係を考察した。 この戦略をニューラルネットワークに組み込むことで、モデルの性能向上と計算効率の向上を両立させ、様々な融合法で計算コストを最大50%削減することを示す。 提案手法を検証するために,音声・視覚的分類,連続学習,質問応答タスクについて実験を行った。 結果は,本手法がこれらの課題において優れた性能を発揮することを一貫して示している。 普遍性と一般化を検証するため,ニューラルネットワーク(ANN)とスパイキングニューラルネットワーク(SNN)の実験も行っており,両者の適応性も良好である。 本研究は,生物にインスパイアされたメカニズムをマルチモーダルネットワークに組み込む可能性を強調し,将来的な多モーダル人工知能開発に向けて有望な方向性を提供する。 コードはhttps://github.com/Brain-Cog-Lab/IEMFで入手できる。

関連論文リスト

• Neural Manifolds and Cognitive Consistency: A New Approach to Memory Consolidation in Artificial Systems [0.0]
  本稿では, ニューラル人口動態, 海馬鋭波リップル(SpWR)生成, ハイダー理論に触発された認知的一貫性の制約を統一する新しい数学的枠組みを提案する。 我々のモデルは低次元多様体表現を利用して構造化された神経ドリフトを捕捉し、コヒーレントシナプス相互作用を強制するためにバランスエネルギー関数を組み込む。 この研究は、神経科学と人工知能を橋渡しするスケーラブルなニューロモルフィックアーキテクチャの道を開くもので、将来のインテリジェントシステムに対してより堅牢で適応的な学習メカニズムを提供する。
  論文  参考訳（メタデータ） (2025-02-25T18:28:25Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• Neural Dependency Coding inspired Multimodal Fusion [11.182263394122142]
  近年のニューラルネットワークによる深層融合モデルの研究は、音声認識、感情認識、分析、キャプション、画像記述などの分野で大幅に改善されている。 近年の多感覚統合と処理に関する神経科学の考え方に触発され,シナジー最大化損失関数の効果について検討した。
  論文  参考訳（メタデータ） (2021-09-28T17:52:09Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Brain-inspired self-organization with cellular neuromorphic computing for multimodal unsupervised learning [0.0]
  本稿では,自己組織マップとヘビアン様学習を用いた再突入理論に基づく脳刺激型ニューラルシステムを提案する。 システムトポロジがユーザによって固定されるのではなく,自己組織化によって学習されるような,いわゆるハードウェアの可塑性の獲得について述べる。
  論文  参考訳（メタデータ） (2020-04-11T21:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。