論文の概要: Towards deployment-centric multimodal AI beyond vision and language

• arxiv url: http://arxiv.org/abs/2504.03603v1
• Date: Fri, 04 Apr 2025 17:20:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:09.711436
• Title: Towards deployment-centric multimodal AI beyond vision and language
• Title（参考訳）: ビジョンと言語を超えたデプロイメント中心のマルチモーダルAIを目指して
• Authors: Xianyuan Liu, Jiayang Zhang, Shuo Zhou, Thijs L. van der Plas, Avish Vijayaraghavan, Anastasiia Grishina, Mengdie Zhuang, Daniel Schofield, Christopher Tomlinson, Yuhan Wang, Ruizhe Li, Louisa van Zeeland, Sina Tabakhi, Cyndie Demeocq, Xiang Li, Arunav Das, Orlando Timmerman, Thomas Baldwin-McDonald, Jinge Wu, Peizhen Bai, Zahraa Al Sahili, Omnia Alwazzan, Thao N. Do, Mohammod N. I. Suvon, Angeline Wang, Lucia Cipolina-Kun, Luigi A. Moretti, Lucas Farndale, Nitisha Jain, Natalia Efremova, Yan Ge, Marta Varela, Hak-Keung Lam, Oya Celiktutan, Ben R. Evans, Alejandro Coca-Castro, Honghan Wu, Zahraa S. Abdallah, Chen Chen, Valentin Danchev, Nataliya Tkachenko, Lei Lu, Tingting Zhu, Gregory G. Slabaugh, Roger K. Moore, William K. Cheung, Peter H. Charlton, Haiping Lu,
• Abstract要約: デプロイ不能なソリューションの可能性を減らすために、デプロイメント制約を早期に組み込んだデプロイメント中心のワークフローを提唱します。 我々は、複数の分野にまたがる共通のマルチモーダルAI固有の課題を特定し、3つの実世界のユースケースについて検討する。 複数の学際的な対話とオープンな研究プラクティスを育むことで、我々のコミュニティは、広く社会に影響を及ぼすためのデプロイメント中心の開発を加速できる。
• 参考スコア（独自算出の注目度）: 67.02589156099391
• License:
• Abstract: Multimodal artificial intelligence (AI) integrates diverse types of data via machine learning to improve understanding, prediction, and decision-making across disciplines such as healthcare, science, and engineering. However, most multimodal AI advances focus on models for vision and language data, while their deployability remains a key challenge. We advocate a deployment-centric workflow that incorporates deployment constraints early to reduce the likelihood of undeployable solutions, complementing data-centric and model-centric approaches. We also emphasise deeper integration across multiple levels of multimodality and multidisciplinary collaboration to significantly broaden the research scope beyond vision and language. To facilitate this approach, we identify common multimodal-AI-specific challenges shared across disciplines and examine three real-world use cases: pandemic response, self-driving car design, and climate change adaptation, drawing expertise from healthcare, social science, engineering, science, sustainability, and finance. By fostering multidisciplinary dialogue and open research practices, our community can accelerate deployment-centric development for broad societal impact.
• Abstract（参考訳）: マルチモーダル人工知能(AI)は、医療、科学、工学などの分野にわたる理解、予測、意思決定を改善するために、機械学習を介してさまざまな種類のデータを統合する。 しかしながら、ほとんどのマルチモーダルAIは、ビジョンと言語データのモデルに重点を置いている。 データ中心のアプローチとモデル中心のアプローチを補完し、デプロイ不可能なソリューションの可能性を減らすために、デプロイメント制約を早期に組み込んだデプロイメント中心のワークフローを提唱します。 我々はまた、視覚や言語を超えて研究範囲を大きく広げるために、多段階のマルチモダリティと多分野のコラボレーションをまたいだより深い統合を強調します。 このアプローチを促進するために、私たちは、規律間で共有される一般的なマルチモーダルAI固有の課題を特定し、パンデミック対応、自動運転車設計、気候変動適応の3つの実世界のユースケースを調べ、医療、社会科学、工学、科学、持続可能性、ファイナンスから専門知識を引き出す。 複数の学際的な対話とオープンな研究プラクティスを育むことで、我々のコミュニティは、広く社会に影響を及ぼすためのデプロイメント中心の開発を加速できる。

関連論文リスト

• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• From Efficient Multimodal Models to World Models: A Survey [28.780451336834876]
  マルチモーダル大規模モデル(MLM)は、強力な言語モデルとマルチモーダル学習を組み合わせた重要な研究対象となっている。 このレビューでは、人工知能の実現におけるその可能性を強調し、大規模指導における最新の発展と課題について考察する。
  論文  参考訳（メタデータ） (2024-06-27T15:36:43Z)
• Foundations of Multisensory Artificial Intelligence [32.56967614091527]
  この論文は、多感覚AIの機械学習基盤を前進させることを目的としている。 第1部では,タスクに対する新たな情報を生み出すために,モーダルティが相互にどのように相互作用するかを定式化する理論的枠組みを提案する。 第2部では、多くのモダリティやタスクを一般化する実用的なマルチモーダル基礎モデルの設計について検討する。
  論文  参考訳（メタデータ） (2024-04-29T14:45:28Z)
• Attribution Regularization for Multimodal Paradigms [7.1262539590168705]
  マルチモーダル機械学習は、学習と意思決定プロセスを強化するために、複数のモーダルからの情報を統合することができる。 ユニモーダルモデルは、よりリッチな情報にアクセスできるにもかかわらず、マルチモーダルモデルより優れていることがよく見られる。 本研究は,マルチモーダルモデルの意思決定において,すべてのモーダルからの情報を効果的に活用するための新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2024-04-02T23:05:56Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• Multimodality of AI for Education: Towards Artificial General Intelligence [14.121655991753483]
  マルチモーダル人工知能(AI)アプローチは、教育的文脈における人工知能(AGI)の実現に向けた道を歩んでいる。 この研究は、認知フレームワーク、高度な知識表現、適応学習機構、多様なマルチモーダルデータソースの統合など、AGIの重要な側面を深く掘り下げている。 本稿は、AGI開発における今後の方向性と課題に関する洞察を提供する、教育におけるマルチモーダルAIの役割の意味についても論じる。
  論文  参考訳（メタデータ） (2023-12-10T23:32:55Z)
• Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions [68.6358773622615]
  本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。 本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。 最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
  論文  参考訳（メタデータ） (2022-09-07T19:21:19Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。