論文の概要: Benchmarking Vision-Language Models on Synapse Detection and Proofreading in Connectomics

• arxiv url: http://arxiv.org/abs/2609.36492v1
• Date: Tue, 29 Sep 2026 01:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.099208
• Title: Benchmarking Vision-Language Models on Synapse Detection and Proofreading in Connectomics
• Title（参考訳）: コネクトロミクスにおけるシナプス検出とプロフォブリングのベンチマーク・ビジョン・ランゲージモデル
• Abstract要約: 我々は、電子顕微鏡画像のコネクトロミクスにおける検査において、アノテータが取る決定について、視覚言語モデル(VLM)をベンチマークした。 シナプス検出には, 様々なアーキテクチャ, サイズにまたがる19のオープンモデルと2つのクローズドモデルを評価した。 検証のために,ConnectomeBench2データセット上で3つのオープンモデルと2つのクローズドモデルを評価した。
• 参考スコア（独自算出の注目度）: 58.333975726458334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We benchmarked vision-language models (VLMs) on the decisions annotators take when inspecting electron microscopy images in connectomics: synapse detection (presence and polarity) and proofreading (split errors and merge errors). For synapse detection, we evaluated 19 open and 2 closed models across various architectures and sizes under zero-shot, four-shot in-context learning and LoRA settings, against specialist models, on datasets constructed by us using public resources. For proofreading, we evaluated 3 open and 2 closed models on the ConnectomeBench2 dataset, with cross-species transfer from fly and mouse to human and zebrafish. Most models were at chance zero-shot; a few examples helped mainly the closed and largest open ones. LoRA on a few thousand labels brought open models level with specialist models. When evaluated on unseen species, the best adapted VLMs outperformed specialist models trained on the same data in identifying merge errors. The project will be publicly available upon acceptance.
• Abstract（参考訳）: 我々は,視覚言語モデル (VLM) を用いて, 電子顕微鏡画像のコネトミクスにおける検査において, シナプス検出 (存在と極性) と証明読影 (分割誤差とマージ誤差) を行う際のアノテータの判断をベンチマークした。 シナプス検出では、公開リソースを用いて構築したデータセットに基づいて、ゼロショット、4ショットのインコンテキスト学習、LoRA設定の下で、さまざまなアーキテクチャやサイズにわたる19のオープンモデルと2つのクローズドモデルを評価した。 検証のために,ConnectomeBench2データセット上で3つのオープンモデルと2つのクローズドモデルを評価した。 ほとんどのモデルはおそらくゼロショットであり、いくつかの例は、主に閉じた、そして最大のオープンショットを助けた。 数千のレーベル上のLoRAは、専門モデルと共にオープンモデルレベルをもたらした。 未確認種について評価すると、最も適応されたVLMはマージエラーを特定するために同じデータに基づいて訓練されたスペシャリストモデルよりも優れていた。 プロジェクトは受理後一般公開される予定だ。

関連論文リスト

• When Are Two Scores Better Than One? Investigating Ensembles of Diffusion Models [22.019987128734282]
  スコアのアンサンブルは、一般的にスコアマッチング損失とモデル可能性を改善するが、画像データセット上のFIDのような知覚品質指標を一貫して強化することができない。 また,楽譜モデルの要約に関する理論的知見も提供し,アンサンブルだけでなく,いくつかのモデル構成技術にも光を当てた。
  論文  参考訳（メタデータ） (2026-01-16T17:07:25Z)
• ConnectomeBench: Can LLMs Proofread the Connectome? [0.4999814847776097]
  ConnectomeBenchは,大規模言語モデル(LLM)の能力を評価するベンチマークで,3つの重要な証明読解タスクについて紹介する。 我々は,Claude 3.7/4 Sonnet, o4-mini, GPT-4.1, GPT-4o, InternVL-3 や NVLM などのオープンソースモデルを含む,プロプライエタリなマルチモーダル LLM の評価を行った。 その結果, セグメント識別において, 現在のモデルが驚くほど高い性能を発揮することが示された。 最高のモデルはまだ専門家のパフォーマンスに遅れを取っているが、最終的にはコネクトロミクスにおける人間の証明読解の強化と置き換えを可能にする有望な能力を実証している。
  論文  参考訳（メタデータ） (2025-10-31T02:20:38Z)
• Bi'an: A Bilingual Benchmark and Model for Hallucination Detection in Retrieval-Augmented Generation [6.549143816134529]
  bftextBi'anはバイリンガルベンチマークデータセットと軽量判定モデルを備えた新しいフレームワークである。 データセットは、複数のRAGシナリオにわたる厳密な評価をサポートし、審査モデルは、コンパクトなオープンソースLLMから微調整される。
  論文  参考訳（メタデータ） (2025-02-26T15:12:59Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。