論文の概要: TinyEmo: Scaling down Emotional Reasoning via Metric Projection

• arxiv url: http://arxiv.org/abs/2410.07062v1
• Date: Fri, 25 Oct 2024 20:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:47:07.894768
• Title: TinyEmo: Scaling down Emotional Reasoning via Metric Projection
• Title（参考訳）: TinyEmo: メトリック投影による感情的推論のスケールアップ
• Authors: Cristian Gutierrez,
• Abstract要約: TinyEmoは、感情的推論と分類のための小さなマルチモーダル言語モデルのファミリーである。 TinyEmoは感情の分類と感情の推論を行うことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces TinyEmo, a family of small multi-modal language models for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and emotional reasoning, all while using substantially fewer parameters than comparable models. This efficiency allows us to freely incorporate more diverse emotional datasets, enabling strong performance on classification tasks, with our smallest model (700M parameters) outperforming larger state-of-the-art models based on general-purpose MM-LLMs with over 7B parameters. Additionally, the Metric Projector allows for interpretability and indirect bias detection in large models without additional training, offering an approach to understand and improve AI systems. We release code, models, and dataset at https://github.com/ggcr/TinyEmo
• Abstract（参考訳）: 本稿では、感情的推論と分類のための小さなマルチモーダル言語モデルであるTinyEmoを紹介する。 提案手法は,(1)事前学習と微調整の両方のための合成感情指導データセット,(2)より効率的な学習と推論が可能な言語モデルから分類を委譲するメトリックプロジェクタ,(3)感情的推論のためのマルチモーダルな大規模言語モデル(MM-LLM),(4)偏見検出のための半自動フレームワークである。 TinyEmoは感情の分類と感情の推論を行うことができる。 この効率により、より多様な感情的データセットを自由に組み込むことができ、最小のモデル(700Mパラメータ)が7Bパラメータ以上の汎用MM-LLMに基づいて、より大きな最先端モデルよりも優れています。 さらに、Metric Projectorは、追加のトレーニングなしで大規模モデルの解釈可能性と間接バイアス検出を可能にし、AIシステムを理解し改善するためのアプローチを提供する。 https://github.com/ggcr/TinyEmoでコード、モデル、データセットをリリースします。

関連論文リスト

• EMO: Earth Mover Distance Optimization for Auto-Regressive Language Modeling [44.70756703071688]
  自動回帰言語モデリングのためのアースモーバー距離最適化を提案する。 EMOは、その課題に対処するために、地球計算距離の本質的な性質を生かしている。 EMOはドメイン間のMLEよりも一貫して優れた言語モデリング性能を示す。
  論文  参考訳（メタデータ） (2023-10-07T05:37:41Z)
• Efficient Adaptive Human-Object Interaction Detection with Concept-guided Memory [64.11870454160614]
  概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。 ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。 提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
  論文  参考訳（メタデータ） (2023-09-07T13:10:06Z)
• Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
  コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。 パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。 既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T14:12:08Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• DeepEmotex: Classifying Emotion in Text Messages using Deep Transfer Learning [0.0]
  テキスト中の感情を検出する効果的なシーケンシャルトランスファー学習法としてDeepEmotexを提案する。 キュレートされたTwitterデータセットとベンチマークデータセットの両方を用いて実験を行った。 DeepEmotexモデルは、テストデータセット上でのマルチクラスの感情分類において91%以上の精度を達成する。
  論文  参考訳（メタデータ） (2022-06-12T03:23:40Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Fine-Grained Emotion Prediction by Modeling Emotion Definitions [26.098917459551167]
  本研究では,感情定義モデルを用いて,テキスト中の感情の微粒化を予測するための新しいフレームワークを提案する。 我々のモデルは、詳細な感情データセットGoEmotionsの既存の最先端よりも優れています。
  論文  参考訳（メタデータ） (2021-07-26T12:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。