論文の概要: Efficient Multimodal Inference through Adaptive Acquisition and Sequential Fusion

• arxiv url: http://arxiv.org/abs/2610.07466v1
• Date: Mon, 05 Oct 2026 22:25:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.692587
• Title: Efficient Multimodal Inference through Adaptive Acquisition and Sequential Fusion
• Title（参考訳）: 適応的獲得と逐次融合による効率的なマルチモーダル推論
• Abstract要約: SemARCは、設定依存ユーティリティと、残りの適合Q学習を組み合わせることで、次の利用可能なモダリティや停止を選択する。 ARCは、各データセットの最も正確なベースラインと比較して、3.2%高いマクロF1と61.4%低い総推測GFLOPを達成する。
• 参考スコア（独自算出の注目度）: 9.366514012970628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal systems often encode every available input, even when a subset suffices for prediction. Adaptive acquisition can reduce this cost by using predictions from incrementally fused evidence to decide which modality to encode next and when to stop. However, sequential fusion makes these predictions order-dependent, so decisions based on them may need to distinguish factorially many histories of the same acquired set. We introduce SemARC, which couples a Sequential Modality Aggregator (SeMA) with an Adaptive Runtime Controller (ARC) and uses acquired evidence to select each modality before its encoder runs. SeMA executes only selected encoder and fusion branches, updates a fixed-size state, and predicts after each acquisition without recomputing earlier branches. We supervise every acquisition prefix under randomized modality subsets and orders to encourage consistent predictions across acquisition orders. ARC combines a set-dependent marginal-utility prior with residual fitted-Q learning to select the next available modality or stop, without inspecting unacquired inputs or retaining acquisition order. Across six multimodal classification datasets and eleven baselines, SemARC achieves 3.2% higher macro-F1 and 61.4% lower total inference GFLOPs on average relative to each dataset's most accurate baseline. End-to-end latency falls by 44.0% across GPU and CPU and by 47.2% on Android INT8 relative to the fastest measured baseline, on average. Under varying runtime modality missingness, SemARC still skips available modalities, matching or exceeding the best baseline macro-F1 in 21 of 24 conditions with 14.8% lower total GFLOPs on average. SemARC thus offers a practical path toward efficient multimodal inference across heterogeneous devices.
• Abstract（参考訳）: マルチモーダルシステムは、サブセットが予測に十分である場合でも、利用可能なすべての入力を符号化することが多い。 適応的獲得は、段階的に融合した証拠からの予測を使用して、次と停止するタイミングを符号化するモダリティを決定することによって、このコストを削減することができる。 しかし、逐次融合はこれらの予測を順序に依存しているので、それらに基づく決定は、同じ獲得された集合の要因的に多くの履歴を区別する必要があるかもしれない。 SemARCは,SeMA(Sequential Modality Aggregator)とARC(Adaptive Runtime Controller)を結合し,取得したエビデンスを用いて,エンコーダの実行前に各モダリティを選択する。 SeMAは選択したエンコーダとフュージョンブランチのみを実行し、固定サイズの状態を更新し、以前のブランチを再計算することなく、取得後に予測する。 我々は、ランダム化されたモダリティサブセットの下で全ての獲得プレフィックスを監督し、獲得注文全体にわたって一貫した予測を奨励する。 ARCは、未取得の入力を検査したり、取得順序を保ったままに、設定依存の限界効用と補足されたQ学習を組み合わせることで、次の利用可能なモダリティや停止を選択する。 6つのマルチモーダル分類データセットと11のベースラインに対して、SemARCは3.2%高いマクロF1と61.4%低い総推定GFLOPを各データセットの最も正確なベースラインに対して達成している。 エンドツーエンドのレイテンシは、GPUとCPU間で44.0%、Android INT8では47.2%低下する。 様々な実行時のモダリティの欠如の下で、SemARCは利用可能なモダリティをスキップし、24条件中21条件で最高のベースラインマクロF1をマッチングまたは超過し、GFLOPを平均14.8%下げた。 従って、SemARCは異種デバイス間の効率的なマルチモーダル推論への実践的なパスを提供する。

関連論文リスト

• When More Foundation Models Means Less: Diagnosing and Addressing Multi-View Fusion Failure [6.820743470464425]
  KAGES (Kernel-Alignment Greedy Selector) は、カーネル・ターゲットアライメントの限界ゲインによってフリーズエンコーダを注文するラベル認識方式である。 KAGESは全核融合で平均AULCを3.9点、5.8点、3.3点改善し、DPPと施設位置選択を平均AULCで行った。 これらの結果から, 実効的な大プール融合は, エンコーダを無差別に融合させるのではなく, コンパクトでタスクに整合したビューを選択することに依存することが示された。
  論文  参考訳（メタデータ） (2026-08-18T08:19:25Z)
• VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling [5.407677397417658]
  直交回帰モデリングのためのベクトル入力自己回帰推論(VAIOM)を提案する。 VAIOMはデコーダのみのトランスフォーマーで、1時間の外国交換バー上での確率的逆戻りモデリングを行う。 連続的な入力は、同じカテゴリーの回帰目標の下で離散的な入力よりも改善されることを示す。
  論文  参考訳（メタデータ） (2026-07-15T15:10:10Z)
• Cloud-Native Evaluation-as-a-Service: A Microservices Architecture for Scalable AI Monitoring with Conformal Guarantees [4.262007271558123]
  我々は、AI評価手法を6つのステートレスメソッドとして運用する、クラウドネイティブな参照アーキテクチャであるEを紹介する。 Eは、有限サンプル補正適応予測セットによる共形予測、キャリブレーションアセスメント、RFF近似平均不一致によるドリフト検出、ブートストラップ信頼区間によるフェアネスモニタリング、DAGベースのパイプラインオーケストレータ、結果記憶APIを含む。
  論文  参考訳（メタデータ） (2026-07-04T01:39:59Z)
• Skim and Skip: Hierarchical Adaptive Inference for Efficient Multimodal Retrieval [66.50180500995627]
  Skim and Skip (SAS) は効率的なマルチモーダル検索のための階層型適応推論フレームワークである。 SASは、最終検索埋め込みに最も関係のある入力情報のみを保持するためにトークンレベルのエビデンス選択を行う。 12個のMMEB検索タスクの実験では、SASは密度の高いベースラインの平均検索性能の約99%を維持している。
  論文  参考訳（メタデータ） (2026-06-24T06:58:25Z)
• DAStatFormer: A Hybrid Multibranch Transformer with Statistical Feature Integration for DAS-Based Pattern Recognitions [0.19573380763700718]
  DAStatFormerは、コンパクトなマルチドメイン統計特徴とGated Transformer Networksを組み合わせたハイブリッドマルチブランチトランスフォーマーである。 99.4%の精度とほぼ完璧な実世界のパフォーマンスを実現している。 これらの結果は、分散リアルタイムDASベースのモニタリングに適していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T13:58:37Z)
• optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
  単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。 LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
  論文  参考訳（メタデータ） (2026-05-19T10:18:12Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。