論文の概要: TinyEmo: Scaling down Emotional Reasoning via Metric Projection

• arxiv url: http://arxiv.org/abs/2410.07062v3
• Date: Sat, 01 Feb 2025 13:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:05:04.234308
• Title: TinyEmo: Scaling down Emotional Reasoning via Metric Projection
• Title（参考訳）: TinyEmo: メトリック投影による感情的推論のスケールアップ
• Authors: Cristian Gutierrez,
• Abstract要約: TinyEmoは、感情的推論と分類のための小さなマルチモーダル言語モデルのファミリーである。 TinyEmoは感情の分類と感情の推論を行うことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper introduces TinyEmo, a family of small multi-modal language models for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and emotional reasoning, all while using substantially fewer parameters than comparable models. This efficiency allows us to freely incorporate more diverse emotional datasets, enabling strong performance on classification tasks, with our smallest model (700M parameters) outperforming larger state-of-the-art models based on general-purpose MM-LLMs with over 7B parameters. Additionally, the Metric Projector allows for interpretability and indirect bias detection in large models without additional training, offering an approach to understand and improve AI systems. We release code, models, and dataset at https://github.com/ggcr/TinyEmo
• Abstract（参考訳）: 本稿では、感情的推論と分類のための小さなマルチモーダル言語モデルであるTinyEmoを紹介する。 提案手法は,(1)事前学習と微調整の両方のための合成感情指導データセット,(2)より効率的な学習と推論が可能な言語モデルから分類を委譲するメトリックプロジェクタ,(3)感情的推論のためのマルチモーダルな大規模言語モデル(MM-LLM),(4)偏見検出のための半自動フレームワークである。 TinyEmoは感情の分類と感情の推論を行うことができる。 この効率により、より多様な感情的データセットを自由に組み込むことができ、最小のモデル(700Mパラメータ)が7Bパラメータ以上の汎用MM-LLMに基づいて、より大きな最先端モデルよりも優れています。 さらに、Metric Projectorは、追加のトレーニングなしで大規模モデルの解釈可能性と間接バイアス検出を可能にし、AIシステムを理解し改善するためのアプローチを提供する。 https://github.com/ggcr/TinyEmoでコード、モデル、データセットをリリースします。

関連論文リスト

• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• Emotion Detection in Reddit: Comparative Study of Machine Learning and Deep Learning Techniques [0.0]
  本研究は,GoEmotionsデータセットを利用したテキストによる感情検出に焦点を当てた。 このタスクには、6つの機械学習モデル、3つのアンサンブルモデル、Long Short-Term Memory(LSTM)モデルなど、さまざまなモデルを使用しました。 結果は、Stacking分類器が他のモデルよりも精度と性能が優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-15T16:28:25Z)
• EMO: Earth Mover Distance Optimization for Auto-Regressive Language Modeling [44.70756703071688]
  自動回帰言語モデリングのためのアースモーバー距離最適化を提案する。 EMOは、その課題に対処するために、地球計算距離の本質的な性質を生かしている。 EMOはドメイン間のMLEよりも一貫して優れた言語モデリング性能を示す。
  論文  参考訳（メタデータ） (2023-10-07T05:37:41Z)
• Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
  コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。 パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。 既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T14:12:08Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Fine-Grained Emotion Prediction by Modeling Emotion Definitions [26.098917459551167]
  本研究では,感情定義モデルを用いて,テキスト中の感情の微粒化を予測するための新しいフレームワークを提案する。 我々のモデルは、詳細な感情データセットGoEmotionsの既存の最先端よりも優れています。
  論文  参考訳（メタデータ） (2021-07-26T12:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。