Fugu-MT 論文翻訳(概要): Modularized Networks for Few-shot Hateful Meme Detection

論文の概要: Modularized Networks for Few-shot Hateful Meme Detection

arxiv url: http://arxiv.org/abs/2402.11845v1
Date: Mon, 19 Feb 2024 05:15:13 GMT
ステータス: 処理完了
システム内更新日: 2024-02-20 18:17:20.194405
Title: Modularized Networks for Few-shot Hateful Meme Detection
Title（参考訳）: Few-shot Hateful Meme DetectionのためのModularized Networks
Authors: Rui Cao, Roy Ka-Wei Lee, Jing Jiang
Abstract要約: 本稿では,ラベル付きサンプルがいくつか存在する低リソース環境において,ヘイトフルミームを検出するという課題に対処する。我々は,憎しみのあるミーム検出に関連するタスクに対して,Low-rank adapt (LoRA) を用いた大規模言語モデル (LLM) を微調整することで開始する。次に、利用可能な数少ないアノテーション付きサンプルを使用してモジュール作曲家を訓練し、その関連性に基づいてLoRAモジュールに重みを割り当てます。
参考スコア（独自算出の注目度）: 22.12696034906066
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we address the challenge of detecting hateful memes in the low-resource setting where only a few labeled examples are available. Our approach leverages the compositionality of Low-rank adaptation (LoRA), a widely used parameter-efficient tuning technique. We commence by fine-tuning large language models (LLMs) with LoRA on selected tasks pertinent to hateful meme detection, thereby generating a suite of LoRA modules. These modules are capable of essential reasoning skills for hateful meme detection. We then use the few available annotated samples to train a module composer, which assigns weights to the LoRA modules based on their relevance. The model's learnable parameters are directly proportional to the number of LoRA modules. This modularized network, underpinned by LLMs and augmented with LoRA modules, exhibits enhanced generalization in the context of hateful meme detection. Our evaluation spans three datasets designed for hateful meme detection in a few-shot learning context. The proposed method demonstrates superior performance to traditional in-context learning, which is also more computationally intensive during inference.We then use the few available annotated samples to train a module composer, which assigns weights to the LoRA modules based on their relevance. The model's learnable parameters are directly proportional to the number of LoRA modules. This modularized network, underpinned by LLMs and augmented with LoRA modules, exhibits enhanced generalization in the context of hateful meme detection. Our evaluation spans three datasets designed for hateful meme detection in a few-shot learning context. The proposed method demonstrates superior performance to traditional in-context learning, which is also more computationally intensive during inference.
Abstract（参考訳）: 本稿では,ラベル付きサンプルがいくつか存在する低リソース環境において,ヘイトフルミームを検出するという課題に対処する。提案手法は,パラメータ効率向上手法であるローランク適応(LoRA)の構成性を活用する。我々は,憎しみのあるミーム検出に関連するタスクに対して,LoRAを用いた大規模言語モデル(LLM)を微調整し,LoRAモジュール群を生成する。これらのモジュールはヘイトフルミーム検出に不可欠な推論スキルを持つ。次に、利用可能な数少ないアノテーション付きサンプルを使用してモジュール作曲家を訓練し、その関連性に基づいてLoRAモジュールに重みを割り当てます。モデルの学習可能なパラメータは、LoRAモジュールの数に直接比例する。 LLMに基盤を置き、LoRAモジュールで拡張したこのモジュール化ネットワークは、ヘイトフルミーム検出の文脈における一般化の強化を示す。私たちの評価は、数回の学習コンテキストでヘイトフルミーム検出用に設計された3つのデータセットにまたがる。提案手法は,従来の文脈内学習よりも優れた性能を示し,その関連性に基づいて重みをLoRAモジュールに割り当てるモジュール作曲家の訓練に利用可能な数少ない注釈付きサンプルを用いる。モデルの学習可能なパラメータは、LoRAモジュールの数に直接比例する。 LLMに基盤を置き、LoRAモジュールで拡張したこのモジュール化ネットワークは、ヘイトフルミーム検出の文脈における一般化の強化を示す。私たちの評価は、数回の学習コンテキストでヘイトフルミーム検出用に設計された3つのデータセットにまたがる。提案手法は,推論中に計算量が多くなる従来のインコンテキスト学習よりも優れた性能を示す。

関連論文リスト

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
論文参考訳（メタデータ） (2025-02-20T12:31:03Z)
The Scaling Law for LoRA Base on Mutual Information Upper Bound [16.527968425791393]
微調整では、モデル性能、モデルパラメータ、データ複雑性の法則がこの分野において問題となっている。そこで我々は,Mutual Information Upper Bound (MIUB) 理論に基づく内部メトリクスを提案し,大規模モデルLORAファインタニングのスケーリング法則について検討する。提案したMIUB測度は、クロスエントロピーやパープレキシティと比較して、ロラ微調整のスケーリング法則とより正確かつ安定に一致している。
論文参考訳（メタデータ） (2025-01-06T17:19:19Z)
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文参考訳（メタデータ） (2024-12-03T07:25:30Z)
Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models [56.93608812478369]
本稿では,新たなPEFTモジュールのトレーニングを分離し,タスクの専門化を保証する手法であるL2Rを提案する。その後、L2Rは学習したモジュールを学習し、以前見たタスクの例を含む小さなメモリを利用するルータのネットワークをトレーニングする。その結果,L2RはPEFTモジュールの効率的な構成を提供し,他の手法と比較して一般化と性能が向上した。
論文参考訳（メタデータ） (2024-08-16T23:57:29Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts [3.6301530893494127]
MixLoRAは、リソース効率の良いスパースMoEモデルを構築するためのアプローチである。評価の結果,MixLoRAはマルチタスク学習シナリオにおける最先端PEFT法と比較して約9%精度が向上していることがわかった。
論文参考訳（メタデータ） (2024-04-22T02:15:52Z)
Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy? [19.716749548892214]
本稿では,LoRAモジュールの構成可能性について検討し,事前学習したモジュールを組み合わせることで,下流タスクに対する一般化が促進されるかどうかを検討する。視覚モデルと言語モデルの両方の実験結果から,ダウンストリームタスクに限られたサンプルしか使用できない場合において,均一な合成法と学習された合成法により,転送精度が向上することが明らかとなった。本研究は、学習可能なパラメータを追加することなく、低ショット設定での転送可能性を高めるための均一な構成の可能性を明らかにする。
論文参考訳（メタデータ） (2024-02-23T16:20:29Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models [104.23434818428062]
我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
論文参考訳（メタデータ） (2023-10-12T18:34:08Z)
LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition [44.13900539802629]
ローランク適応(LoRA)は、しばしば新しいタスクのために細調整された大きな言語モデル(LLM)に使用される。本稿では,多様なタスクで訓練されたLoRAモジュールの組み立てのためのフレームワークであるLoraHubを紹介する。新しいタスクからいくつか例を挙げると、LoraHubは複数のLoRAモジュールを流動的に結合することができ、人間の専門知識や前提を必要としない。
論文参考訳（メタデータ） (2023-07-25T05:39:21Z)
Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文参考訳（メタデータ） (2023-02-22T18:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。