論文の概要: LTGC: Long-tail Recognition via Leveraging LLMs-driven Generated Content

• arxiv url: http://arxiv.org/abs/2403.05854v4
• Date: Sun, 26 May 2024 04:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 06:36:16.107205
• Title: LTGC: Long-tail Recognition via Leveraging LLMs-driven Generated Content
• Title（参考訳）: LTGC:LLMによる生成コンテンツを活用したLong-tail認識
• Authors: Qihao Zhao, Yalun Dai, Hao Li, Wei Hu, Fan Zhang, Jun Liu,
• Abstract要約: 尾の認識は、尾のカテゴリから良い表現を学習し、すべてのカテゴリで不均衡に対処する必要があるため、困難である。 そこで本研究では,生成コンテンツを利用した長期認識を実現するための,新たな生成および微調整フレームワークLTGCを提案する。
• 参考スコア（独自算出の注目度）: 17.022005679738733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-tail recognition is challenging because it requires the model to learn good representations from tail categories and address imbalances across all categories. In this paper, we propose a novel generative and fine-tuning framework, LTGC, to handle long-tail recognition via leveraging generated content. Firstly, inspired by the rich implicit knowledge in large-scale models (e.g., large language models, LLMs), LTGC leverages the power of these models to parse and reason over the original tail data to produce diverse tail-class content. We then propose several novel designs for LTGC to ensure the quality of the generated data and to efficiently fine-tune the model using both the generated and original data. The visualization demonstrates the effectiveness of the generation module in LTGC, which produces accurate and diverse tail data. Additionally, the experimental results demonstrate that our LTGC outperforms existing state-of-the-art methods on popular long-tailed benchmarks.
• Abstract（参考訳）: 尾の認識は、尾のカテゴリから良い表現を学習し、すべてのカテゴリで不均衡に対処する必要があるため、困難である。 本稿では,生成コンテンツを利用した長期認識のための新しい生成・微調整フレームワークLTGCを提案する。 まず、大規模モデル(例えば、大規模言語モデル、LLM)における豊富な暗黙の知識にインスパイアされたLTGCは、これらのモデルのパワーを活用して、オリジナルのテールデータを解析し、推論し、多様なテールクラスのコンテンツを生成する。 そこで我々は,生成したデータの品質を保証し,生成したデータとオリジナルデータの両方を用いてモデルを効率よく微調整する,LTGCの新しい設計を提案する。 可視化はLTGCにおける生成モジュールの有効性を示し、正確で多様なテールデータを生成する。 さらに, 実験結果から, LTGCは, 一般的なロングテールベンチマークにおいて, 既存の最先端手法よりも優れていることが示された。

関連論文リスト

• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• HDL-GPT: High-Quality HDL is All You Need [0.0]
  本稿では,HDL-GPT(Hardware Description Language Generative Pre-trained Transformers)を提案する。 HDL-GPTは、オープンソースのHigh Definition Language(HDL)コードの膨大なリポジトリを活用して、高品質な大規模コードモデルのトレーニングを行う、新しいアプローチである。 我々は,HDL回路の説明,コード生成,形式的およびシミュレーションテストベンチ生成,バグのトリアージ,修正といったタスクにおいて,現在のベンチマーク上でのSOTA HDLモデルに対して50%から200%の改善を示す。
  論文  参考訳（メタデータ） (2024-07-25T22:48:08Z)
• Generative Active Learning for Long-tailed Instance Segmentation [55.66158205855948]
  キャッシュ勾配に基づいて生成したデータの寄与を推定する新しいアルゴリズムであるBSGALを提案する。 実験により,BSGALはベースラインアプローチより優れ,長い尾のセグメンテーションの性能が効果的に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-04T15:57:43Z)
• GOLD: Generalized Knowledge Distillation via Out-of-Distribution-Guided Language Data Generation [21.56082253577229]
  金はタスクに依存しないデータ生成および知識蒸留フレームワークである。 LLMには反復的なアウト・オブ・ディストリビューション誘導フィードバック機構が採用されている。 ノイズ発生データを扱うためのエネルギーベースOOD評価手法も導入されている。
  論文  参考訳（メタデータ） (2024-03-28T18:08:22Z)
• DiffuLT: How to Make Diffusion Model Useful for Long-tail Recognition [25.842677223769943]
  本稿では,Long-tail (LT) 認識のための新しいパイプラインを提案する。 再重み付けや再サンプリングの代わりに、長い尾のデータセット自体を使用して、バランスの取れたプロキシを生成します。 具体的には、長い尾のデータセットに特化して訓練されたランダム拡散モデルを用いて、表現不足のクラスのための新しいサンプルを合成する。
  論文  参考訳（メタデータ） (2024-03-08T09:19:29Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Improving GANs for Long-Tailed Data through Group Spectral Regularization [51.58250647277375]
  本稿では, スペクトル爆発によるモード崩壊を防止する新しいグループスペクトル正規化器 (gSR) を提案する。 我々は,gSRが既存の拡張および正規化技術と効果的に組み合わせることで,長期化データ上での最先端の画像生成性能が向上することを発見した。
  論文  参考訳（メタデータ） (2022-08-21T17:51:05Z)
• Teacher Guided Training: An Efficient Framework for Knowledge Transfer [86.6784627427194]
  高品質なコンパクトモデルを訓練するための教師誘導訓練(TGT)フレームワークを提案する。 TGTは、教師が基礎となるデータドメインの優れた表現を取得したという事実を利用する。 TGTは複数の画像分類ベンチマークやテキスト分類や検索タスクの精度を向上させることができる。
  論文  参考訳（メタデータ） (2022-08-14T10:33:58Z)
• Exploring Long Tail Visual Relationship Recognition with Large Vocabulary [40.51076584921913]
  我々は,Long-Tail Visual Relationship Recognition(LTVRR)の課題に関する最初の大規模研究を行っている。 LTVRRは、ロングテールから得られる構造化された視覚的関係の学習を改善することを目的としている。 VG8K-LTとGQA-LTという2つのLTVRR関連ベンチマークを導入する。
  論文  参考訳（メタデータ） (2020-03-25T19:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。