論文の概要: Verbalized Representation Learning for Interpretable Few-Shot Generalization

• arxiv url: http://arxiv.org/abs/2411.18651v1
• Date: Wed, 27 Nov 2024 01:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:23:04.850657
• Title: Verbalized Representation Learning for Interpretable Few-Shot Generalization
• Title（参考訳）: 解釈可能なFew-Shot一般化のための言語表現学習
• Authors: Cheng-Fu Yang, Da Yin, Wenbo Hu, Nanyun Peng, Bolei Zhou, Kai-Wei Chang,
• Abstract要約: Verbalized Representation Learning (VRL)は、オブジェクト認識のための人間の解釈可能な特徴を自動的に抽出する新しいアプローチである。 本手法は,クラス間の差異とクラス内共通点を自然言語形式で把握する。 VRLは従来の最先端手法よりも24%の絶対的な改善を実現している。
• 参考スコア（独自算出の注目度）: 130.8173035901391
• License:
• Abstract: Humans recognize objects after observing only a few examples, a remarkable capability enabled by their inherent language understanding of the real-world environment. Developing verbalized and interpretable representation can significantly improve model generalization in low-data settings. In this work, we propose Verbalized Representation Learning (VRL), a novel approach for automatically extracting human-interpretable features for object recognition using few-shot data. Our method uniquely captures inter-class differences and intra-class commonalities in the form of natural language by employing a Vision-Language Model (VLM) to identify key discriminative features between different classes and shared characteristics within the same class. These verbalized features are then mapped to numeric vectors through the VLM. The resulting feature vectors can be further utilized to train and infer with downstream classifiers. Experimental results show that, at the same model scale, VRL achieves a 24% absolute improvement over prior state-of-the-art methods while using 95% less data and a smaller mode. Furthermore, compared to human-labeled attributes, the features learned by VRL exhibit a 20% absolute gain when used for downstream classification tasks. Code is available at: https://github.com/joeyy5588/VRL/tree/main.
• Abstract（参考訳）: 人間は、実世界の環境に対する固有の言語理解によって実現される顕著な能力である、少数の例を観察してオブジェクトを認識する。 言語化および解釈可能な表現の学習は、低データ設定におけるモデルの一般化を著しく改善することができる。 本研究では,少数ショットデータを用いたオブジェクト認識のための人間の解釈可能な特徴を自動的に抽出する新しい手法であるVerbalized Representation Learning (VRL)を提案する。 本手法は,視覚言語モデル(VLM)を用いて,クラス間の重要な識別特徴と同一クラス内の共有特徴を識別することにより,クラス間差とクラス内共通点を自然言語形式で一意にキャプチャする。 これらの言語化された特徴は、VLMを通して数値ベクトルにマッピングされる。 結果として得られる特徴ベクトルは、下流の分類器で訓練および推論するためにさらに利用することができる。 実験結果から,VRLは従来手法に比べて95%少ないデータと少ないモードで24%の絶対改善を実現していることがわかった。 さらに、人間ラベルの属性と比較して、VRLが学習した機能は、下流の分類タスクで使用する場合、20%の絶対的なゲインを示す。 コードは、https://github.com/joeyy5588/VRL/tree/main.comで入手できる。

関連論文リスト

• Evolving Interpretable Visual Classifiers with Large Language Models [34.4903887876357]
  CLIPのようなマルチモーダル事前訓練モデルは、オープン語彙の柔軟性と高性能のため、ゼロショット分類に人気がある。 画像とクラスラベルの類似点を計算する視覚言語モデルは、ほとんどブラックボックスであり、解釈可能性の制限、バイアスのリスク、書き下がらない新しい視覚概念の発見ができない。 本稿では,視覚認識のための属性の解釈可能かつ差別的集合を検出する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T17:09:53Z)
• Leveraging vision-language models for fair facial attribute classification [19.93324644519412]
  汎用視覚言語モデル(英: General-purpose Vision-Language Model, VLM)は、共通感性属性のための豊富な知識源である。 我々は,VLM予測値と人間定義属性分布の対応関係を解析した。 複数のベンチマークの顔属性分類データセットの実験は、既存の教師なしベースラインよりもモデルの公平性の向上を示している。
  論文  参考訳（メタデータ） (2024-03-15T18:37:15Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• Improving VAE-based Representation Learning [26.47244578124654]
  優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。 ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
  論文  参考訳（メタデータ） (2022-05-28T23:00:18Z)
• Rich Semantics Improve Few-shot Learning [49.11659525563236]
  アノテーションコストを最小限に抑えながら取得できる「クラスレベル」言語記述を用いることで、少ない学習性能を向上できることを示す。 我々は,視覚トークンと意味トークンを関連付けるための前方および後方エンコーディング機構を開発した。
  論文  参考訳（メタデータ） (2021-04-26T16:48:27Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。