論文の概要: Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection

• arxiv url: http://arxiv.org/abs/2610.31768v1
• Date: Thu, 22 Oct 2026 18:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.258709
• Title: Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection
• Title（参考訳）: クエリごとのモダリティ選択によるOmni-Modal Large Language Modelの効率的な推論
• Abstract要約: クエリ毎にどのモダリティを提供するかを適応的に選択しながら,基礎となるOmni-LLMを固定するクエリワイドモダリティ選択について検討する。 我々はQwen2.5-OmniとQwen3-Omniの3つの推論コスト尺度を用いてWorldSenseに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 12.248816304126253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omni-modal large language models (Omni-LLMs) can jointly process a broad range of modalities, such as text, audio, and video, enabling stronger multimodal understanding and reasoning capabilities, but often at substantial inference cost. We observe that the benefit of additional modalities varies across queries, indicating that a fixed modality configuration can be inefficient. Motivated by this, we study query-wise modality selection, which keeps the underlying Omni-LLM fixed while adaptively selecting which modalities to provide for each query. We formulate the problem as an accuracy-cost optimization problem and develop a cost-sensitive learning approach for modality selection. We evaluate our approach on WorldSense using Qwen2.5-Omni and Qwen3-Omni under three inference-cost measures: input tokens, latency, and monetary cost. Across both models, query-wise modality selection consistently improves the accuracy-cost trade-off and can even outperform the standard setting in which all available modalities are provided to the Omni-LLM. For Qwen2.5-Omni, our cost-sensitive approach matches or exceeds this full-modality accuracy while requiring only approximately 41% of the input tokens, 39% of the latency, and 61% of the monetary cost.
• Abstract（参考訳）: Omni-LLM(Omni-Modal large language model)は、テキスト、音声、ビデオなどの幅広いモダリティを共同で処理し、より強力なマルチモーダル理解と推論機能を実現する。 追加のモダリティの利点はクエリによって異なり、固定されたモダリティ構成が非効率であることを示す。 そこで本研究では,各クエリに対してどのモダリティを提供するかを適応的に選択しながら,基礎となるOmni-LLMを固定したクエリワイドのモダリティ選択について検討する。 精度・コスト最適化問題として問題を定式化し,モダリティ選択のためのコスト依存学習手法を開発した。 我々は,Qwen2.5-OmniとQwen3-Omniの3つの推論コスト尺度(入力トークン,レイテンシ,金銭的コスト)を用いてWorldSenseに対するアプローチを評価する。 どちらのモデルとも、クエリワイドなモダリティ選択は、精度とコストのトレードオフを一貫して改善し、Omni-LLMに利用可能なすべてのモダリティを提供する標準設定よりも優れている。 Qwen2.5-Omniの場合、当社のコストセンシティブなアプローチは、入力トークンの41%、レイテンシの39%、金銭的なコストの61%しか必要とせず、この完全なモダリティの正確さに一致または超えています。

関連論文リスト

• TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models [4.415971426310032]
  本稿では,全モードの曖昧さ解消のためのベンチマークであるTRIADを紹介する。 各項目は、質問と回答オプションのセットを合わせたテキスト-イメージ-オーディオ三重項であり、完全な三重項が一意の答えを決定するように構成される。 TRIADには16ドル(約8,800円)のシーングループに327ドル(約3,800円)の手書きクエリが含まれており、3つのモダリティにまたがって18ドル(約1,800円)のあいまいさカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2026-10-22T07:15:40Z)
• OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models [49.34557936004057]
  本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。 本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
  論文  参考訳（メタデータ） (2026-05-18T08:33:52Z)
• QUIVER: Cost-Aware Adaptive Preference Querying in Surrogate-Assisted Evolutionary Multi-Objective Optimization [0.0]
  本稿では、客観評価と嗜好クエリを適応的に選択する、代理支援型進化的多目的言語であるQUIVERを紹介する。 我々はQUIVERがWFG問題に挑戦する上で最下位のユーティリティ後悔を達成していることを示す。 この適応的モダリティ選択は、行動におけるコストアウェアな嗜好学習を示す。
  論文  参考訳（メタデータ） (2026-05-05T20:02:35Z)
• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• e1: Learning Adaptive Control of Reasoning Effort [88.51897900019485]
  AIモデルの思考予算の増大は、精度を大幅に向上させるが、すべての質問が同じ量の推論を保証しているわけではない。 ユーザは、アウトプットの品質を、レイテンシやコストに対してどのように評価するかによって、さまざまな理由付けの労力を割り当てる傾向があります。 本稿では,ユーザが指定したトークン数を用いてモデルを学習する自己適応型強化学習手法であるAdaptive Effort Controlを提案する。
  論文  参考訳（メタデータ） (2025-10-30T23:12:21Z)
• UNO-Bench: A Unified Benchmark for Exploring the Compositional Law Between Uni-modal and Omni-modal in Omni Models [22.508414355245275]
  我々は,新しい,高品質で統一されたオムニモデルベンチマーク,UNO-Benchを紹介する。 このベンチマークは、統一された能力分類の下で、UNi-modalとOmni-modalの両方の能力を効果的に評価するために設計されている。 1250人のオムニモダルの培養サンプルと98%のクロスモーダル可溶性、2480の強化されたユニモーダルサンプルを含んでいる。
  論文  参考訳（メタデータ） (2025-10-21T06:14:40Z)
• Contra4: Evaluating Contrastive Cross-Modal Reasoning in Audio, Video, Image, and 3D [97.08549913899247]
  Contra4は、画像、オーディオ、ビデオ、および3Dの4つのモードにまたがる、対照的な相互モーダル推論のためのデータセットである。 それぞれの例は、複数の候補モダリティのインスタンスと並んで自然言語の質問を示し、モデルがプロンプトと意味的に一致するものを選択する必要がある。 コントラ4は、人間の注釈付きキャプションとモデルの混在するラウンドトリップ一貫性フィルタを組み合わせることで、高品質な監視を確実にし、174kのトレーニング例と2.3kのサンプルを手作業で検証する。
  論文  参考訳（メタデータ） (2025-06-02T03:12:13Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。