論文の概要: Taurus: LLM-in-the-Loop CT Annotation Matches Coding Agents at Half the Cost
- arxiv url: http://arxiv.org/abs/2611.00247v2
- Date: Thu, 05 Nov 2026 03:15:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.246734
- Title: Taurus: LLM-in-the-Loop CT Annotation Matches Coding Agents at Half the Cost
- Title(参考訳): タウルス:LLM-in-the-Loop CTアノテーションはコストの半分のコストでコーディングエージェントと一致する
- Abstract要約: 大きな言語モデル(LLM)エージェントは、コードを書き、イメージを読み取ることができる。
このようなモデルが、独自のセグメンテーションコードを記述するフリーフォームエージェントとして、これらのスキャンをラベル付けするかどうかを問うた。
私たちはTaurusというハーネスを開発し、それをブラインドラベルリカバリによってフリーフォームエージェントと比較しました。
- 参考スコア(独自算出の注目度): 4.967927672995181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dense labels of the aorta in CT are slow to draw, and the public aortic CT datasets that could stand in for them each label different structures under their own conventions. Large language model (LLM) agents can now write code and read images. We asked whether such a model labels these scans better as a free-form agent that writes its own segmentation code, or inside a harness, where an automated pass labels the scan and the model reviews the result. We built a harness, Taurus, and compared it with free-form agents by blind label recovery: we withheld the human labels of six public datasets (939 volumes) and scored every approach against each dataset's own classes. In the first version of Taurus, the model's review raised the primary metric on only two of six datasets, by less than the noise between two reviews of the same case. A free-form agent running Claude Opus 5.5 scored higher on most datasets. Moving what the free-form agents did well into the automated pass then carried most of the gain on 38 held-out cases. The final version smooths the label surfaces with a fixed rule and checks for the large errors the automated pass tends to make, such as an aneurysm drawn to half its size. Each check that fires puts a multiple-choice question to the model, with candidate corrections drawn on the scan. It matched the surface smoothness of the human references, and in the primary metric we found no difference from the free-form Opus agent, at under half its cost, $1.22 against $2.71 per case. Most of what made Taurus competitive came from the harness and its automation rather than from the language model itself. Taurus shows that this kind of annotation can be automated, so that expert time can move from drawing labels to checking them.
- Abstract(参考訳): CTの大動脈の硬いラベルは描画が遅く、公的な大動脈CTデータセットはそれぞれの規則でそれぞれの構造をラベル付けする。
大きな言語モデル(LLM)エージェントは、コードを書き、イメージを読み取ることができる。
このようなモデルでは、スキャンを独自のセグメンテーションコードを記述するフリーフォームエージェントとして、あるいはハーネス内で、自動パスがスキャンをラベル付けし、モデルが結果をレビューするものとして、これらのスキャンをラベル付けするかどうかを問うた。
6つのパブリックデータセット(939巻)の人間ラベルを保存し、各データセットのクラスに対してすべてのアプローチをスコア付けしました。
Taurusの最初のバージョンでは、モデルのレビューは同じケースの2つのレビューの間のノイズよりも少ないため、6つのデータセットのうち2つだけが一次メトリックである。
Claude Opus 5.5を実行するフリーフォームエージェントは、ほとんどのデータセットでより高いスコアを得た。
フリーフォームエージェントが正常に自動パスに移行し、38件の保留ケースでほとんどの利得を得た。
最終バージョンは固定された規則でラベル表面を滑らかにし、自動化されたパスがもたらす大きなエラーをチェックする。
点火するチェックごとに、モデルに複数選択の疑問が呈され、候補がスキャンに描画される。
これは人間の参照の表面の滑らかさと一致し、最初の測定値ではフリーフォームのOpusエージェントとの違いは見つからず、コストの半分以下で1ケースあたり22ドル対2.71ドルだった。
Taurusを競争力のあるものにしたのは、言語モデル自体ではなく、ハーネスと自動化だ。
Taurus氏は、このようなアノテーションは自動化できるので、専門家の時間はラベルの描画からチェックに移行できることを示している。
関連論文リスト
- Annotrace: A Workbench for Step-Level Annotation of Agent Traces [4.897722668838932]
Annotraceは6つのトレースフォーマットを読み出し、各ランを順序付きネストされたステップリストに変換する。
アノテーションは独自のラベル付けコードブックを書く。
フロンティアモデルは、自身のトレースのサンプルから開始セットを提案し、最初に回答し、人間が尋ねられる質問を正確に問う。
論文 参考訳(メタデータ) (2026-10-16T10:55:26Z) - Label Critic: Design Data Before Models [7.142066343369597]
ペア比較によりラベル品質を評価できるラベル批判という自動ツールを開発した。
Best-AIラベルが十分に正確であれば(ボディ構造によって81%)、データセットのゴールドスタンダードアノテーションとして直接採用されます。
Label Criticは、1つのAIラベルのラベル品質を71.8%の精度でチェックできる。
論文 参考訳(メタデータ) (2024-11-05T02:50:47Z) - Data-Free Hard-Label Robustness Stealing Attack [67.41281050467889]
本稿では,Data-Free Hard-Label Robustness Stealing(DFHL-RS)攻撃について紹介する。
ターゲットモデルのハードラベルをクエリするだけで、モデル精度とロバスト性の両方を盗むことができる。
本手法は,AutoAttackに対して77.86%,頑健な39.51%の精度を実現する。
論文 参考訳(メタデータ) (2023-12-10T16:14:02Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳(メタデータ) (2023-05-31T03:01:36Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳(メタデータ) (2021-12-17T18:59:41Z) - A Study on the Autoregressive and non-Autoregressive Multi-label
Learning [77.11075863067131]
本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。
したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
論文 参考訳(メタデータ) (2020-12-03T05:41:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。