論文の概要: nnInteractive Agent: General-Purpose AI Agents as 3D Image Annotators

• arxiv url: http://arxiv.org/abs/2610.31080v1
• Date: Thu, 22 Oct 2026 10:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.32738
• Title: nnInteractive Agent: General-Purpose AI Agents as 3D Image Annotators
• Title（参考訳）: nnInteractive Agent:3Dイメージアノテーションとしての汎用AIエージェント
• Abstract要約: nnInteractiveのようなインタラクティブな3Dセグメンテーションモデルは、いくつかの空間的プロンプトを正確な体積マスクに変える。 人間は、それぞれの構造を見つけ、プロンプトを配置し、結果を確認し、修正する。 このようなエージェントが、追加のトレーニングなしでこの作業を引き継ぐことができることを示す。ユーザは、プレーン言語でリクエストを行い、エージェントは、セグメンテーションすべきものを処理します。
• 参考スコア（独自算出の注目度）: 7.065258083943494
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Interactive 3D segmentation models such as nnInteractive turn a few spatial prompts (points, scribbles, boxes) into accurate volumetric masks, but a human still does the annotation work: finding each structure, placing prompts, checking the result and correcting it. General-purpose AI agents can now interpret images, call tools and write code. We show that such agents can take over this work without additional training: the user makes a request in plain language, and the agent works out what has to be segmented, locates the targets, prompts nnInteractive, inspects the 3D result, corrects it and responds to feedback. Asked for 'the muscles used for chewing', an agent identifies and segments the masseters and pterygoids; asked to count liver lesions, it writes its own code to find candidates and splits a merged lesion on request. Our open-source nninteractive-agent provides nnInteractive as tools over the Model Context Protocol (MCP), together with a skill that encodes how experienced users prompt it. On a benchmark spanning CT, MRI, PET and micro-CT of humans, a mouse and an ant (14 images; 51 targets from organs and tumours to muscles, foot bones, vessel trees and an insect brain), Claude Code and Codex reach a mean Dice of 0.81 and 0.84 from the request alone; when told where each target is, both reach 0.85 and prompt nearly as effectively as an oracle that places prompts using the reference segmentation. A text-prompted 3D model (VoxTell) is more accurate on most standard radiological targets but less robust: it returns an empty mask for one of them and fails on the leg muscles, the foot bones, the mouse and the ant, where the agents remain accurate. Code: https://github.com/MIC-DKFZ/nninteractive-agent
• Abstract（参考訳）: nnInteractiveのようなインタラクティブな3Dセグメンテーションモデルは、いくつかの空間的プロンプト(ポイント、スクリブル、ボックス)を正確なボリュームマスクに変換するが、人間はまだアノテーションの仕事をしている。 汎用AIエージェントは、画像の解釈、ツールの呼び出し、コードを書くことができる。 ユーザーは平易な言語でリクエストを行い、エージェントはセグメント化すべきものを見つけ出し、ターゲットを特定し、nnInteractiveを誘導し、3D結果を検査し、修正し、フィードバックに応答する。 噛むために使われる筋肉」を尋ねられたエージェントは、マッサージと翼状筋を識別し、セグメンテーションし、肝臓の病変を数えるように頼まれ、候補を見つけるために独自のコードを書き、要求に応じて合併した病変を分割する。 私たちのオープンソースのnninteractive-agentは、モデルコンテキストプロトコル(MCP)上のツールとしてnnInteractiveを提供しています。 ヒトのCT、MRI、PET、微小CT(14枚の画像、臓器や腫瘍から筋肉、足の骨、血管、昆虫の脳まで51個のターゲット)のベンチマークでは、クロードコードとコーデックスは、要求のみから平均Dice 0.81と0.84に達する。 テキストプロンプトされた3Dモデル(VoxTell)は、ほとんどの標準的な放射線学的ターゲットではより正確だが、より堅牢ではない: そのうちの1つに空のマスクを返し、脚の筋肉、足の骨、マウス、アリに失敗する。 コード:https://github.com/MIC-DKFZ/nninteractive-agent

関連論文リスト

• Driving Epidemic Models with AI Agents: the Epydemix Agent Framework [43.590506976483795]
  我々はEpydemix Agent Frameworkを紹介した。Epydemixはオープンソースのコンパートメンタル流行モデリング用Pythonライブラリである。 呼吸器感染症に対するワクチン接種戦略の比較を事例として,エンド・ツー・エンドのワークフローについて紹介する。 フレームワークのエージェント使用とPythonインターフェースの直接使用を比較して,50のエージェントセッションと5つのモデリングタスクでフレームワークを評価した。
  論文  参考訳（メタデータ） (2026-09-23T18:31:43Z)
• AR-WAM: A Visual-Conditioned Agent-Ready World Action Model for Robotic Manipulation [31.9606890046955]
  視覚-言語-アクションモデルと世界アクションモデルはまだ操作タスクを指定するために自然言語命令に依存している。 本稿では、言語を2つの相補的な条件で置き換える視覚条件付きエージェント対応世界アクションモデルAR-WAMを提案する。 RoboTwin 2.0、RMBench、および本物のAstribot S1デュアルアームプラットフォームでは、AR-WAMは標準操作における最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-09-20T11:55:26Z)
• MedClaw: Heuristic Agent Harness for Long-Horizon Surgical Video Reasoning [22.25478228214449]
  思考から推論を分離し、文脈の進化によって改善するエージェントハーネスを構築します。 テキストのみのオーケストレータは、収集する証拠を計画し、監査可能な一連のツールコールを発行する。 グレードフリーで報酬を付与するヒューリスティックスキル蒸留ループは、エージェント自身の低スコアトレースをマイニングし、バリデーション報酬を上げる場合にのみ候補スキルを保持する。
  論文  参考訳（メタデータ） (2026-08-14T07:03:06Z)
• ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search [49.61286310968402]
  我々は,対話型推論問題として,マルチカメラの人物探索を再構成する最初のベンチマークとフレームワークであるARGOSを紹介する。 ARGOSエージェントはあいまいな目撃声明を受け取り、何を尋ねるか、いつ空間的または時間的ツールを呼び出すか、不明瞭な応答をどう解釈するかを判断しなければならない。 このベンチマークは、意味的知覚(Who)、空間的推論(Where)、時間的推論(When)の3つのプログレッシブトラックにおいて、14の現実世界シナリオにまたがる2,691のタスクからなる。
  論文  参考訳（メタデータ） (2026-04-14T14:06:19Z)
• 3DMedAgent: Unified Perception-to-Understanding for 3D Medical Analysis [42.29123264398027]
  3DMedAgentは、2D MLLMが3D特有の微調整なしで一般的な3DCT分析を行うことを可能にする統合エージェントである。 40以上のタスクにわたる実験では、3DMedAgentは一般、医療、および3D固有のMLLMよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-02-20T08:31:26Z)
• CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation [70.3224918173672]
  CowPilotは、自律的および人間とエージェントの協調的なWebナビゲーションをサポートするフレームワークである。 エージェントが次のステップを提案することによって、人間が実行しなければならないステップの数を減らすと同時に、ユーザが一時停止、拒否、代替アクションを取ることができる。 CowPilotは、Webサイト間でのデータ収集とエージェント評価のための便利なツールとして機能する。
  論文  参考訳（メタデータ） (2025-01-28T00:56:53Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。