論文の概要: IntuiTF: MLLM-Guided Transfer Function Optimization for Direct Volume Rendering

• arxiv url: http://arxiv.org/abs/2506.18407v2
• Date: Tue, 09 Sep 2025 12:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:26.873746
• Title: IntuiTF: MLLM-Guided Transfer Function Optimization for Direct Volume Rendering
• Title（参考訳）: IntuiTF: 直接ボリュームレンダリングのためのMLLM誘導転送関数最適化
• Authors: Yiyao Wang, Bo Pan, Ke Wang, Han Liu, Jinyuan Mao, Yuxin Liu, Minfeng Zhu, Xiuqi Huang, Weifeng Chen, Bo Zhang, Wei Chen,
• Abstract要約: 直接ボリュームレンダリング(DVR)は、転送関数(TF)が意味のある構造を抽出する上で重要な役割を果たす、ボリュームデータを可視化する基本的な技術である。 IntuiTFは、マルチモーダル大言語モデル(MLLM)を利用して、ユーザ意図に合わせてTF最適化を誘導する新しいフレームワークである。 3つのケーススタディを通じてフレームワークの広範な適用性を実証し、広範囲な実験を通じて各コンポーネントの有効性を検証する。
• 参考スコア（独自算出の注目度）: 18.674851113406483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct volume rendering (DVR) is a fundamental technique for visualizing volumetric data, where transfer functions (TFs) play a crucial role in extracting meaningful structures. However, designing effective TFs remains unintuitive due to the semantic gap between user intent and TF parameter space. Although numerous TF optimization methods have been proposed to mitigate this issue, existing approaches still face two major challenges: the vast exploration space and limited generalizability. To address these issues, we propose IntuiTF, a novel framework that leverages Multimodal Large Language Models (MLLMs) to guide TF optimization in alignment with user intent. Specifically, our method consists of two key components: (1) an evolution-driven explorer for effective exploration of the TF space, and (2) an MLLM-guided human-aligned evaluator that provides generalizable visual feedback on rendering quality. The explorer and the evaluator together establish an efficient Trial-Insight-Replanning paradigm for TF space exploration. We further extend our framework with an interactive TF design system. We demonstrate the broad applicability of our framework through three case studies and validate the effectiveness of each component through extensive experiments. We strongly recommend readers check our cases, demo video, and source code at: https://github.com/wyysteelhead/IntuiTF
• Abstract（参考訳）: 直接ボリュームレンダリング(DVR)は、転送関数(TF)が意味のある構造を抽出する上で重要な役割を果たす、ボリュームデータを可視化する基本的な技術である。 しかし、ユーザ意図とTFパラメータ空間のセマンティックなギャップがあるため、効果的なTFを設計するのは直感的ではない。 この問題を緩和するために多くのTF最適化法が提案されているが、既存のアプローチでは、広大な探索空間と限定的な一般化可能性という2つの大きな課題に直面している。 これらの問題に対処するために,マルチモーダル大言語モデル(MLLM)を利用した新しいフレームワークであるIntuiTFを提案する。 具体的には,(1)TF空間を効果的に探索するための進化駆動型エクスプローラー,(2)レンダリング品質に対する視覚的フィードバックを一般化可能なMLLM誘導型ヒューマンアライメント評価器の2つの重要な要素から構成される。 探検家と評価者は共に、TF宇宙探査のための効率的なトライアル・インサイト・リプランニングパラダイムを確立した。 さらに,対話型TF設計システムによってフレームワークをさらに拡張する。 3つのケーススタディを通してフレームワークの広範な適用性を実証し、広範囲な実験を通して各コンポーネントの有効性を検証する。 私たちは読者に、私たちのケース、デモビデオ、ソースコードをチェックすることを強く推奨します。

関連論文リスト

• MLLM-Enhanced Face Forgery Detection: A Vision-Language Fusion Solution [36.79921476565535]
  VLF-FFDはMLLM強化顔偽造検出のための新しいビジョン・ランゲージ・フュージョン・ソリューションである。 EFF++は、広く使用されているFaceForensics++データセットのフレームレベル、説明可能性駆動拡張である。 VLF-FFDは、クロスデータセットおよびイントラデータセット評価の両方において、最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2025-05-04T06:58:21Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• SPHINX: The Joint Mixing of Weights, Tasks, and Visual Embeddings for Multi-modal Large Language Models [86.478087039015]
  モデル重み、チューニングタスク、視覚埋め込みを併用した多目的多モード大言語モデル(MLLM)を提案する。 提案したジョイントミキシングに基づいて,高解像度画像のきめ細かい外観をより正確に捉えるための効率的な手法を提案する。 今後のMLLM研究におけるジョイントミキシングの探求に光を当てることを願っている。
  論文  参考訳（メタデータ） (2023-11-13T18:59:47Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。