論文の概要: Language-Inspired Relation Transfer for Few-shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2501.05862v1
• Date: Fri, 10 Jan 2025 10:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:26.254184
• Title: Language-Inspired Relation Transfer for Few-shot Class-Incremental Learning
• Title（参考訳）: クラスインクリメンタル学習のための言語インスピレーションによる関係伝達
• Authors: Yifan Zhao, Jia Li, Zeyin Song, Yonghong Tian,
• Abstract要約: 視覚的な手掛かりとテキストの描写でオブジェクトを理解するために,LRT(Language-inspired Relation Transfer)パラダイムを提案する。 提案したLRTは,Mini-ImageNetおよびCIFAR-100 FSCILベンチマークの最終セッションにおいて,最先端モデルよりも13%以上,7%以上性能が向上する。
• 参考スコア（独自算出の注目度）: 42.923762020491495
• License:
• Abstract: Depicting novel classes with language descriptions by observing few-shot samples is inherent in human-learning systems. This lifelong learning capability helps to distinguish new knowledge from old ones through the increase of open-world learning, namely Few-Shot Class-Incremental Learning (FSCIL). Existing works to solve this problem mainly rely on the careful tuning of visual encoders, which shows an evident trade-off between the base knowledge and incremental ones. Motivated by human learning systems, we propose a new Language-inspired Relation Transfer (LRT) paradigm to understand objects by joint visual clues and text depictions, composed of two major steps. We first transfer the pretrained text knowledge to the visual domains by proposing a graph relation transformation module and then fuse the visual and language embedding by a text-vision prototypical fusion module. Second, to mitigate the domain gap caused by visual finetuning, we propose context prompt learning for fast domain alignment and imagined contrastive learning to alleviate the insufficient text data during alignment. With collaborative learning of domain alignments and text-image transfer, our proposed LRT outperforms the state-of-the-art models by over $13\%$ and $7\%$ on the final session of mini-ImageNet and CIFAR-100 FSCIL benchmarks.
• Abstract（参考訳）: 少数ショットサンプルを観察することで、言語記述を取り入れた新しい授業が、人間の学習システムに固有のものである。 この生涯学習能力は、Few-Shot Class-Incremental Learning (FSCIL)と呼ばれるオープンワールド学習の増加を通じて、古い知識と新しい知識を区別するのに役立つ。 この問題を解決するための既存の作業は主に視覚エンコーダの注意深いチューニングに依存しており、これは基礎知識と漸進的な知識の間に明らかなトレードオフを示している。 人間の学習システムに動機付け,2つの主要なステップからなる共同視覚的手がかりとテキスト描写によるオブジェクトの理解を目的とした,LRT(Language-inspired Relation Transfer)パラダイムを提案する。 まず,事前学習したテキスト知識を,グラフ関係変換モジュールを提案して視覚領域に転送し,テキストビジョンの原型融合モジュールによって視覚と言語を融合させる。 第二に、視覚的な微調整による領域ギャップを軽減するために、高速な領域アライメントのためのコンテキストプロンプト学習を提案し、アライメント中のテキストデータの不足を軽減するために、コントラスト学習を想像する。 ドメインアライメントとテキストイメージ転送の協調学習により、提案したLRTは、Mini-ImageNetとCIFAR-100 FSCILベンチマークの最終セッションで、最先端モデルよりも13\%以上、そして7\%以上性能が向上する。

関連論文リスト

• Unleashing In-context Learning of Autoregressive Models for Few-shot Image Manipulation [70.95783968368124]
  我々は、$textbfInstaManip$と呼ばれる新しいマルチモーダル自動回帰モデルを導入する。 本稿では,コンテキスト内学習プロセスを2つの段階に分割する,革新的なグループ自己認識機構を提案する。 提案手法は、過去の数ショット画像操作モデルよりも顕著なマージンを超越している。
  論文  参考訳（メタデータ） (2024-12-02T01:19:21Z)
• Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts [83.03471704115786]
  本研究では,改良型プロンプト拡散(iPromptDiff)を紹介する。 iPromptDiffは、視覚コンテキストを埋め込みベクトルに変換するエンドツーエンドのトレーニングされた視覚エンコーダを統合する。 拡散に基づく視覚基盤モデルにおいて,この視覚的文脈変調テキストガイダンスと標準制御ネット構造を組み込んだ場合,多種多様な学習課題における多目的性と堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-03T14:15:52Z)
• Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models [24.456117679941816]
  Contrastive Reading Model (Cream)は、Large Language Models (LLM)の言語画像理解能力を高めるために設計された、新しいニューラルネットワークである。 我々のアプローチは、視覚と言語理解のギャップを埋め、より洗練されたドキュメントインテリジェンスアシスタントの開発の道を開く。
  論文  参考訳（メタデータ） (2023-05-24T11:59:13Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
  K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。 トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。 評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
  論文  参考訳（メタデータ） (2022-04-20T04:47:01Z)
• LAViTeR: Learning Aligned Visual and Textual Representations Assisted by Image and Caption Generation [5.064384692591668]
  本稿では,視覚およびテキスト表現学習のための新しいアーキテクチャであるLAViTeRを提案する。 メインモジュールであるVisual Textual Alignment (VTA)は、GANベースの画像合成とイメージキャプションという2つの補助的なタスクによって支援される。 CUBとMS-COCOの2つの公開データセットに対する実験結果は、優れた視覚的およびテキスト的表現アライメントを示す。
  論文  参考訳（メタデータ） (2021-09-04T22:48:46Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。