論文の概要: Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing

• arxiv url: http://arxiv.org/abs/2606.13275v1
• Date: Thu, 11 Jun 2026 12:29:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.785562
• Title: Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing
• Title（参考訳）: 文化遺産のゼロショットキャプション:伝統的なインドネシアの衣服の自動画像解析
• Authors: Anugrah Aidin Yotolembah, Novanto Yudistira, Gembong Edhi Setyawan,
• Abstract要約: 本稿では,インドネシアの伝統的な衣服のゼロショットキャプションのための検索強化視覚言語フレームワークを提案する。 このデータセットには、インドネシア38州すべてから3,800人の専門家が注釈を付けた画像が含まれている。 このフレームワークは、凍結したCLIP ViT-B/32イメージエンコーダ、CLIPテキストエンコーダ、BERTテキストエンコーダ、LSTMキャプションデコーダを組み合わせる。
• 参考スコア（独自算出の注目度）: 2.8292841621378844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents Custom ZeroCLIP, a retrieval-augmented vision-language framework for zero-shot captioning of Indonesian traditional garments. The dataset contains 3,800 expert-annotated images from all 38 Indonesian provinces. Using a province-level inductive zero-shot protocol, the model is trained on 24 seen provinces, validated on 6 seen provinces, and evaluated on 8 unseen provinces. The framework combines a frozen CLIP ViT-B/32 image encoder, a CLIP text encoder, a BERT text encoder, and an LSTM caption decoder. During inference, unseen-province labels and captions are unavailable, and retrieval uses only captions from training provinces. No unseen-province image, label, or caption is used during training, validation, or retrieval-bank construction. Custom ZeroCLIP achieves a CLIPScore of 0.8536, BLEU-4 of 0.3342, and METEOR of 0.4859, outperforming existing baselines. Ablation results show that retrieval improves cultural vocabulary recovery with a 19.3\% METEOR gain, while human evaluation confirms stronger cultural accuracy and fluency. The results demonstrate the effectiveness of retrieval-augmented domain adaptation for culturally grounded caption generation in low-resource heritage settings. The dataset is publicly available at https://github.com/AnugrahAidinYotolembah/Traditional-Indonesian-Clothing-Captioning-Dataset.
• Abstract（参考訳）: 本稿では,インドネシアの伝統的な衣服のゼロショットキャプションのための検索拡張型視覚言語フレームワークであるCustom ZeroCLIPを提案する。 このデータセットには、インドネシア38州すべてから3,800人の専門家が注釈を付けた画像が含まれている。 国レベルの誘導ゼロショットプロトコルを用いて、24の国で訓練され、6の州で検証され、8の未確認の州で評価される。 このフレームワークは、凍結したCLIP ViT-B/32イメージエンコーダ、CLIPテキストエンコーダ、BERTテキストエンコーダ、LSTMキャプションデコーダを組み合わせる。 推測中、未確認のラベルとキャプションは利用できなくなり、検索は訓練地域からのキャプションのみを使用する。 トレーニング、バリデーション、検索バンク構築において、目に見えない画像、ラベル、キャプションは使用されない。 カスタムZeroCLIPはCLIPSスコアが0.8536、BLEU-4が0.3342、METEORが0.4859で、既存のベースラインを上回っている。 アブレーションの結果、検索は文化の語彙回復を19.3倍に改善し、人的評価は文化の精度と流布度を高めることが示された。 その結果,低資源遺産環境下での文化的根拠付きキャプション生成におけるドメイン適応の検索の有効性が示された。 データセットはhttps://github.com/AnugrahAidinYotolembah/Traditional-Indonesian-Clothing-Captioning-Datasetで公開されている。

関連論文リスト

• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training [14.340740609933437]
  そこで本研究では,モダリティギャップを低減するために,テキストのみのトレーニングを施したゼロショット画像キャプションフレームワークを提案する。 特に,地域情報を活用するためのサブリージョン機能アグリゲーションを導入する。 フレームワークを拡張してゼロショットのVQAパイプラインを構築し、その汎用性を実証します。
  論文  参考訳（メタデータ） (2024-01-04T16:43:46Z)
• VeCLIP: Improving CLIP Training via Visual-enriched Captions [63.547204530720705]
  本研究は,ノイズキャプション書き換えのためのスケーラブルパイプラインを提案する。 視覚豊かなキャプション(VeCap)と呼ばれるキャプションへの視覚概念の組み入れを強調した。 本稿では,大規模なWebクローリングデータセットであるVeCLIP上でCLIPをトレーニングするためのこの手法の適用について紹介する。
  論文  参考訳（メタデータ） (2023-10-11T17:49:13Z)
• CapDet: Unifying Dense Captioning and Open-World Detection Pretraining [68.8382821890089]
  本稿では,所定のカテゴリリストに基づいて予測するか,あるいは予測された境界ボックスのカテゴリを直接生成する,CapDetという新しいオープンワールド検出器を提案する。 具体的には,オープンワールド検出と高密度キャプションタスクを,付加的な高密度キャプションヘッドを導入することで,単一の効果的なフレームワークに統合する。
  論文  参考訳（メタデータ） (2023-03-04T19:53:00Z)
• Data Efficient Language-supervised Zero-shot Recognition with Optimal Transport Distillation [43.03533959429743]
  本稿では,オンライン最適トランスポートを用いて,コントラスト学習のためのラベルとしてソフトな画像テキストマッチングを求めるOTTERを提案する。 事前訓練された画像とテキストエンコーダに基づいて、OTTERで訓練されたモデルは、3M画像テキストペアだけで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-12-17T11:27:26Z)
• RegionCLIP: Region-based Language-Image Pretraining [94.29924084715316]
  画像テキストペアを用いたコントラスト言語画像事前学習(CLIP)は,画像分類において顕著な結果を得た。 そこで我々は,CLIPを拡張して領域レベルの視覚表現を学習するRegionalCLIPという手法を提案する。 提案手法は,COCOデータセットとLVISデータセットの新たなカテゴリに対して,3.8 AP50と2.2 APの精度を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-16T18:39:36Z)
• Data-Efficient Language-Supervised Zero-Shot Learning with Self-Distillation [23.631184498984933]
  自然言語は、監督された「ゴールド」ラベルよりも広く、より豊かな監督源であることが示されている。 ソフトラベルを用いてノイズの多い画像とテキストのペアから学習する,データ効率の高いコントラスト蒸留法を提案する。 我々のモデルは事前訓練された画像と文エンコーダから知識を伝達し,CLIPよりも133倍小さい3M画像テキストペアで高い性能を達成する。
  論文  参考訳（メタデータ） (2021-04-18T19:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。