論文の概要: Augmenting Image Annotation: A Human-LMM Collaborative Framework for Efficient Object Selection and Label Generation

• arxiv url: http://arxiv.org/abs/2503.11096v1
• Date: Fri, 14 Mar 2025 05:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:25.027717
• Title: Augmenting Image Annotation: A Human-LMM Collaborative Framework for Efficient Object Selection and Label Generation
• Title（参考訳）: Augmenting Image Annotation: A Human-LMM Collaborative Framework for Efficient Object Selection and Label Generation
• Authors: He Zhang, Xinyi Fu, John M. Carroll,
• Abstract要約: 本稿では,大規模マルチモーダルモデル(LMM)の視覚的理解機能を活用してアノテーションを補助する新しいフレームワークを提案する。 提案手法では,人間アノテータはバウンディングボックスを介してオブジェクトを選択することに集中し,LMMは関連するラベルを自律的に生成する。 提案するフレームワークはアノテーションを再定義するこのアプローチの可能性を強調し,コンピュータビジョンにおける大規模データラベリングのためのスケーラブルで効率的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 15.284458413201815
• License:
• Abstract: Traditional image annotation tasks rely heavily on human effort for object selection and label assignment, making the process time-consuming and prone to decreased efficiency as annotators experience fatigue after extensive work. This paper introduces a novel framework that leverages the visual understanding capabilities of large multimodal models (LMMs), particularly GPT, to assist annotation workflows. In our proposed approach, human annotators focus on selecting objects via bounding boxes, while the LMM autonomously generates relevant labels. This human-AI collaborative framework enhances annotation efficiency by reducing the cognitive and time burden on human annotators. By analyzing the system's performance across various types of annotation tasks, we demonstrate its ability to generalize to tasks such as object recognition, scene description, and fine-grained categorization. Our proposed framework highlights the potential of this approach to redefine annotation workflows, offering a scalable and efficient solution for large-scale data labeling in computer vision. Finally, we discuss how integrating LMMs into the annotation pipeline can advance bidirectional human-AI alignment, as well as the challenges of alleviating the "endless annotation" burden in the face of information overload by shifting some of the work to AI.
• Abstract（参考訳）: 従来の画像アノテーションタスクは、オブジェクトの選択やラベルの割り当てに人間の努力に大きく依存しているため、アノテータが広範囲な作業の後に疲労を経験するため、プロセスに時間がかかり、効率が低下する傾向にある。 本稿では,大規模マルチモーダルモデル(LMM)の視覚的理解機能を利用した新しいフレームワークを提案する。 提案手法では,人間アノテータはバウンディングボックスを介してオブジェクトを選択することに集中し,LMMは関連するラベルを自律的に生成する。 この人間-AI協調フレームワークは、人間のアノテータに対する認知的および時間的負担を軽減することにより、アノテーション効率を向上させる。 各種のアノテーションタスクにまたがるシステムの性能を解析することにより,オブジェクト認識やシーン記述,きめ細かな分類といったタスクに一般化できることを実証する。 提案するフレームワークは,アノテーションワークフローを再定義するこのアプローチの可能性を強調し,コンピュータビジョンにおける大規模データラベリングのためのスケーラブルで効率的なソリューションを提供する。 最後に、アノテーションパイプラインへのLMMの統合は、双方向の人間とAIのアライメントを促進するだけでなく、作業の一部をAIに移行することで、情報過負荷に直面した場合の"無限のアノテーション"負担を軽減するという課題についても論じる。

関連論文リスト

• Hierarchical Visual Feature Aggregation for OCR-Free Document Understanding [41.43688559565315]
  我々は、事前訓練されたマルチモーダル大言語モデル(MLLM)に基づく新しいOCRフリー文書理解フレームワークを提案する。 本手法では,文書画像内のフォントサイズを多種多様な視覚的特徴量で処理する。 そこで本研究では,入力テキストの相対的な位置を学習することで,モデルのテキスト読解能力を向上させる新しい命令チューニングタスクを提案する。
  論文  参考訳（メタデータ） (2024-11-08T00:58:12Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Incremental Image Labeling via Iterative Refinement [4.7590051176368915]
  特に、意味ギャップ問題の存在は、画像から抽出した情報とその言語的記述との間に、多対多のマッピングをもたらす。 この避けられないバイアスにより、現在のコンピュータビジョンタスクのパフォーマンスはさらに低下する。 我々は、ラベリングプロセスを駆動するガイドラインを提供するために、知識表現(KR)ベースの方法論を導入する。
  論文  参考訳（メタデータ） (2023-04-18T13:37:22Z)
• OvarNet: Towards Open-vocabulary Object Attribute Recognition [42.90477523238336]
  CLIP-Attrと呼ばれるオープンボキャブラリオブジェクトの検出と属性分類に有効な2段階のアプローチを提案する。 候補オブジェクトは最初、オフラインのRPNで提案され、後にセマンティックなカテゴリと属性に分類される。 視覚的シーン理解において,意味カテゴリーと属性の認識が相補的であることを示す。
  論文  参考訳（メタデータ） (2023-01-23T15:59:29Z)
• Label Assistant: A Workflow for Assisted Data Annotation in Image Segmentation Tasks [0.8135412538980286]
  本稿では,アノテーションプロセスを支援する汎用ワークフローを提案し,抽象レベルでメソッドについて議論する。 これにより、将来性のあるサンプル、画像前処理、ラベル前処理、ラベル検査、アノテーションの後処理などに焦点を当てる可能性について検討する。 さらに,ハイブリッドタッチスクリーン/ラップトップデバイスにネストしたフレキシブルで拡張可能なソフトウェアプロトタイプの開発により,提案手法の実装を提案する。
  論文  参考訳（メタデータ） (2021-11-27T19:08:25Z)
• Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
  本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。 我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。 利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-28T05:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。