論文の概要: Adapting Open-Weight MLLMs to Generate Point Prompts for Electron Microscopy Segmentation

• arxiv url: http://arxiv.org/abs/2609.14080v1
• Date: Sat, 12 Sep 2026 17:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.65253
• Title: Adapting Open-Weight MLLMs to Generate Point Prompts for Electron Microscopy Segmentation
• Title（参考訳）: オープンウェイトMLLMの電子顕微鏡分割のための点プロンプト生成への応用
• Abstract要約: 3つのミトコンドリアデータセットからマスクをトレーニング例に変換し、イメージとインストラクションをセントロイド座標とペアリングし、MLLMバックボーンとmicroSAMを凍結しながらLoRAアダプタをトレーニングする。 Qwen3-VL のセグメンテーション AP$_50$$0.736$ は、教師付き微調整と報酬最適化によって達成される。 これはオープンウェイトMLLMをEMポイントジェネレータとして実現可能な最初の研究であり、ローカライゼーションとマスクデコードの間の検査可能な言語指向リンクを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Promptable models such as microSAM segment electron microscopy (EM) images from point prompts, but automation requires generating prompts without user input. We ask whether open-weight multimodal large language models (MLLMs) can generate them from natural-language requests by returning coordinates to a frozen segmenter. To that end, we convert masks from three mitochondria datasets into training examples, pairing images and instructions with centroid coordinates, then train LoRA adapters while freezing the MLLM backbone and microSAM. We find that Qwen3-VL reaches segmentation AP$_{50}$ $0.736$ after supervised fine-tuning and reward optimization, up from $0.247$ without adaptation, while automatic prompt generation (APG) achieves $0.773$. In addition, two other MLLMs improve, reaching or exceeding APG. When compared with a supervised centroid-heatmap detector that reaches AP$_{50}$ $0.904$ for this mitochondria task, Qwen3-VL more closely matches the annotated point set and instance counts. Moreover, training on two public datasets transfers to an unseen third, while training on all three transfers to an independent EM volume. Robustness tests show stable performance under unseen formulations of the natural-language request, while the coordinates can be reused by a second segmenter. To our knowledge, this is the first feasibility study of open-weight MLLMs as EM point generators, providing an inspectable, language-directed link between localization and mask decoding.
• Abstract（参考訳）: ポイントプロンプトからのマイクロSAMセグメント電子顕微鏡(EM)画像のようなプロンプト可能なモデルがあるが、自動化にはユーザー入力なしでプロンプトを生成する必要がある。 オープンウェイトなマルチモーダル大言語モデル (MLLM) は, 座標を冷凍セグメンタに返却することで, 自然言語要求からそれらを生成できるかどうかを問う。 そのために、3つのミトコンドリアデータセットからマスクをトレーニング例に変換し、イメージとインストラクションをセントロイド座標とペアリングし、MLLMバックボーンとmicroSAMを凍結しながらLoRAアダプタをトレーニングする。 Qwen3-VL がセグメンテーション AP$_{50}$ 0.736$ に到達したのは、教師付き微調整と報酬最適化の後で、適応なしで0.247$ から、自動プロンプト生成 (APG) が 0.773$ まで上昇したからである。 さらに、他の2つのMLLMは、APGを超えたり、到達したり、超えたりしている。 このミトコンドリアのタスクに対してAP$_{50}$0.904$に達する教師付きセントロイド熱マップ検出器と比較すると、Qwen3-VLは注釈付き点集合とインスタンス数とより密に一致している。 さらに、2つの公開データセットのトレーニングは3分の1に、すべての3つのデータセットのトレーニングは独立したEMボリュームに転送される。 ロバストネステストは、自然言語要求の目に見えない定式化の下で安定した性能を示し、座標は第2セグメンタによって再利用できる。 我々の知る限り、これはオープンウェイトMLLMをEMポイントジェネレータとして実現可能な最初の研究であり、ローカライゼーションとマスクデコードの間の検査可能な言語指向リンクを提供する。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video [54.048366682378706]
  クローズドループ対話型タスクガイダンスのためのMLLMのトレーニングと評価を支援する,ストリーミングビデオのための最初のマルチドメインベンチマークである GuideMe を構築した。 223.7時間にわたる2,458本のビデオ(料理、オブジェクト操作、日常生活指導、フィットネスなど)と、次のステップの指示、完了フィードバック、エラー検出、修正ガイダンスを含む47,775本の対話サンプルで構成されている。
  論文  参考訳（メタデータ） (2026-07-03T06:00:04Z)
• UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
  組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。 ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
  論文  参考訳（メタデータ） (2026-04-22T08:16:50Z)
• Weak to Strong: VLM-Based Pseudo-Labeling as a Weakly Supervised Training Strategy in Multimodal Video-based Hidden Emotion Understanding Tasks [4.888851550406879]
  本稿では,映像中の「概念的感情」の自動認識に取り組むための弱視的枠組みを提案する。 実験により、厳密なクラス不均衡にもかかわらず、提案手法は以前の作業で0.6以下から0.69以上に上昇することが示された。
  論文  参考訳（メタデータ） (2026-02-08T17:02:55Z)
• Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
  We design an new end-to-end object-aware lifting approach, called Unified-Lift。 コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。 LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2025-03-18T08:42:23Z)
• PointLLM: Empowering Large Language Models to Understand Point Clouds [63.39876878899682]
  PointLLMは人間の指示で色のついたオブジェクトポイントクラウドを理解する。 文脈的に適切な応答を生成し、点雲と常識の把握を図示する。
  論文  参考訳（メタデータ） (2023-08-31T17:59:46Z)
• P$^3$LM: Probabilistically Permuted Prophet Language Modeling for Generative Pre-Training [27.707324811241268]
  P$3$LMは確率的に置換された預言言語モデルである。 順序対応トランスフォーマーデコーダで、順順にトークンを生成することを学ぶ。 GLGEベンチマークでは、要約のための4つのデータセットを含む実験が行われている。
  論文  参考訳（メタデータ） (2022-10-22T03:50:59Z)
• Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training [56.81809311892475]
  Masked Autoencoders (MAE) は、言語と2次元画像変換器の自己教師付き事前学習において大きな可能性を示している。 我々は3次元点雲の階層的自己教師型学習のための強力なマルチスケールMAE事前学習フレームワークであるPoint-M2AEを提案する。
  論文  参考訳（メタデータ） (2022-05-28T11:22:53Z)
• Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval [129.25914272977542]
  RetoMatonはデータストア上に構築された重み付き有限オートマトンである。 LM推論と並行して、このオートマトンを推論時にトラバースすることは、その複雑さを減少させる。
  論文  参考訳（メタデータ） (2022-01-28T21:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。