論文の概要: AnchorScore: A CLIP-Based Diagnostic of MLLM Annotation Difficulty
- arxiv url: http://arxiv.org/abs/2608.16690v1
- Date: Mon, 17 Aug 2026 15:10:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.763225
- Title: AnchorScore: A CLIP-Based Diagnostic of MLLM Annotation Difficulty
- Title（参考訳）: AnchorScore: MLLMアノテーションのCLIPによる診断
- Abstract要約: マルチモーダル大言語モデル(MLLM)は自動アノテーションに広く用いられているが、クラスごとの精度は幅広い。
本稿では,MLLMが確実に注釈付けされる可能性が低いクラスの評価を行う,AnchorScoreと呼ばれるフルフレームの定式化を体系的に評価する。
- 参考スコア（独自算出の注目度）: 7.105430294335961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) are widely used for automated annotation, yet their per-class accuracy varies widely (e.g., 12%-98% across the 13 classes of three classroom sub-datasets) and is expensive to measure: evaluating one 27B MLLM on 5,416 validation images takes roughly 14 hours, whereas a frozen-CLIP pass over the same images completes in about 3 minutes. A low-cost signal for ranking classes by expected MLLM annotation difficulty a priori remains underexplored. Building on the AnchorProxy construct (per-class zero-shot CLIP accuracy) introduced in the companion study, this paper systematically evaluates its full-frame formulation, termed AnchorScore here, as an a priori diagnostic that flags the classes MLLMs are least likely to annotate reliably. On classroom behavior data (SCB5, 13 classes, 6 MLLMs), AnchorScore correlates with per-class MLLM accuracy (Spearman rho = 0.769, p = 0.002, n = 13). None of the alternative difficulty predictors (DINOv2, ResNet-50, SigLIP, or MLLM self-verbalized uncertainty) showed a significant class-level correlation at n = 13. A cross-model consensus control suggests AnchorScore primarily captures a shared class-difficulty factor rather than a CLIP-specific signal. An independent replication on Stanford40 Actions yields a nearly identical effect (rho = 0.817, p < 0.001); the association is strongest on activity-recognition data and attenuates on medical and satellite imagery. Three practical applications follow: a deployable hybrid CLIP/MLLM routing strategy (predicted-class routing: up to +23 pp over CLIP-only at roughly 44% MLLM cost savings), prompt disambiguation on hard classes (exploratory), and review-priority prediction for human verification. AnchorScore does not estimate exact MLLM accuracy; it provides a low-cost ranking signal that directs expensive MLLM evaluation to the classes where it is most informative.
- Abstract（参考訳）: MLLM(Multimodal large language model)は自動アノテーションに広く使用されているが、クラスごとの精度は広く(例えば、3つの教室サブデータセットの13のクラスで12%-98%)、測定に費用がかかる: 5,416の検証画像上で27BのMLLMを評価するのに約14時間かかるのに対して、凍結CLIPは3分で同じ画像をパスする。
MLLMアノテーションによるクラス分類のための低コストな信号は、事前探索が過小評価されている。
本稿では,AnchorProxyコンストラクト(クラス別ゼロショットCLIP精度)に基づいて,クラスMLLMのアノテート性が低いという事前診断として,AnchorScoreと呼ばれるフルフレームの定式化を体系的に評価する。
教室行動データ(SCB5、13クラス、6 MLLM)では、AnchorScoreはクラスごとのMLLM精度と相関する(Spearman rho = 0.769, p = 0.002, n = 13)。
代替難易度予測器(DINOv2, ResNet-50, SigLIP, MLLM)はいずれもn = 13。
クロスモデルコンセンサス制御は、AnchorScoreがCLIP固有の信号ではなく、共有クラス拡散因子を主にキャプチャすることを示唆している。
スタンフォード40アクションの独立した複製は、ほぼ同じ効果(rho = 0.817, p < 0.001)をもたらす。
デプロイ可能なハイブリッドCLIP/MLLMルーティング戦略(予測クラスルーティング:最大+23pp、約44%のMLLMコスト削減)、ハードクラス(探索)での曖昧さの迅速化(探索)、人間の検証のためのレビュー-プライオリティ予測。
AnchorScoreはMLLMの精度を正確に見積もるのではなく、高価なMLLM評価を最も有益なクラスに指示する安価なランキング信号を提供する。
関連論文リスト
- Assessing Language Models for Salient Class Identification [15.706102968915744]
言語モデル(LM)が,機能工学やグラフ構築,トレーニングを必要とせずに,コミットから直接健全なクラスを識別できるかどうかを検討する。
我々は,GPT-5.4とDeepSeek-V3.2の2つの大言語モデル,SLM,Qwen3.5-9B,ゼロショット,少数ショット,チェーンオブ思想の3つの戦略を評価する。
論文 参考訳（メタデータ） (2026-06-19T17:33:56Z) - Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。
マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。
統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
論文 参考訳（メタデータ） (2026-05-04T04:13:00Z) - A Reliability Evaluation of Hybrid Deterministic-LLM Based Approaches for Academic Course Registration PDF Information Extraction [0.0]
本研究では,KRS文書からの情報抽出手法の信頼性を3つの戦略を用いて評価した。
実験は、LCMベースのテストのための140の文書と、Camelotベースのパイプライン評価のための860の文書で実施された。
論文 参考訳（メタデータ） (2026-03-09T02:09:02Z) - Evaluating Large Language Models for Gait Classification Using Text-Encoded Kinematic Waveforms [1.1635287453977645]
LLM(Large Language Models)は、構造化キネマティックデータに適用した場合、説明機能と信頼性に配慮した出力を提供する。
本研究は,テキスト数値列で表される連続歩行運動学を汎用LLMで分類できるかどうかを検証した。
論文 参考訳（メタデータ） (2026-03-04T10:23:35Z) - Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting [59.37613121962146]
本稿では,クラスに依存しないオブジェクトカウントのためのMLLM駆動型弱教師付きフレームワークWS-COCを提案する。
WS-COCは、多くの最先端の完全に管理されたメソッドと一致し、また、アノテーションのコストを大幅に削減します。
論文 参考訳（メタデータ） (2026-02-13T09:58:35Z) - MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers [7.123910165277138]
本稿では,LCM再ランカを校正したメタデータを小型の学生レトリバーに蒸留する,メタデータ対応クロスモデルアライメント(MACA)を提案する。
メタデータ・アウェア・プロンプトは、教師の教師の信頼度を確認するために、置換の下での一貫性とパラフレーズに対する堅牢性を確認し、リストワイズスコア、ハード・ネガティブ、キャリブレーションされた関連マージンを提供する。
論文 参考訳（メタデータ） (2026-01-01T23:31:02Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - PCS: Perceived Confidence Scoring of Black Box LLMs with Metamorphic Relations [13.99995125334968]
メタモーフィックリレーショナル(MR)を利用してテキスト入力を分類するLLMの信頼性を評価する手法を提案する。
MRは意味論的に等価だが、テキスト的に異なる入力バージョンを生成する。
予測されたラベルの周波数に基づいて、認識された信頼度スコア(PCS)を算出する。
論文 参考訳（メタデータ） (2025-02-11T02:25:44Z) - Efficiently Disentangling CLIP for Multi-Object Perception [62.523137132812764]
CLIPのような視覚言語モデルは、シーン内の1つの顕著なオブジェクトを認識するのに優れていますが、複数のオブジェクトを含む複雑なシーンで苦労しています。
凍結したVLMに最小限の学習可能なパラメータのみを追加しながら、最適な相互情報のレベルを学習する効率的なフレームワークであるDCLIPを提案する。
論文 参考訳（メタデータ） (2025-02-05T08:20:31Z) - LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。
バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文 参考訳（メタデータ） (2024-10-27T16:23:26Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳（メタデータ） (2023-11-28T05:53:55Z) - Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。
ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
論文 参考訳（メタデータ） (2023-05-24T06:55:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。