Fugu-MT 論文翻訳(概要): Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models

論文の概要: Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models

arxiv url: http://arxiv.org/abs/2307.15331v1
Date: Fri, 28 Jul 2023 06:15:27 GMT
ステータス: 処理完了
システム内更新日: 2023-07-31 13:31:01.130572
Title: Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models
Title（参考訳）: 事前学習言語モデルを用いたスタンス検出のチュートリアル:微細チューニングBERTと大規模言語モデル
Authors: Yun-Shiuan Chuang
Abstract要約: 本稿では、BERTファインチューニングと大規模言語モデル(LLM)によるTwitterデータにおける姿勢検出に関する2つの自己完結型チュートリアルを提案する。最初のチュートリアルではBERTアーキテクチャとトークン化を説明し、HuggingFace変換器を使用したトレーニング、チューニング、および標準およびドメイン固有のBERTモデルの評価を通じてユーザを導く。 2つ目は、ChatGPTやオープンソースのFLAN-T5からのスタンスを微調整なしで引き出すプロンプトの構築と、少数の例である。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents two self-contained tutorials on stance detection in Twitter data using BERT fine-tuning and prompting large language models (LLMs). The first tutorial explains BERT architecture and tokenization, guiding users through training, tuning, and evaluating standard and domain-specific BERT models with HuggingFace transformers. The second focuses on constructing prompts and few-shot examples to elicit stances from ChatGPT and open-source FLAN-T5 without fine-tuning. Various prompting strategies are implemented and evaluated using confusion matrices and macro F1 scores. The tutorials provide code, visualizations, and insights revealing the strengths of few-shot ChatGPT and FLAN-T5 which outperform fine-tuned BERTs. By covering both model fine-tuning and prompting-based techniques in an accessible, hands-on manner, these tutorials enable learners to gain applied experience with cutting-edge methods for stance detection.
Abstract（参考訳）: 本稿では,BERTファインタニングと大規模言語モデル(LLM)を用いたTwitterデータにおける姿勢検出の自己完結型チュートリアルを2つ提案する。最初のチュートリアルではBERTアーキテクチャとトークン化を説明し、HuggingFace変換器を使用したトレーニング、チューニング、標準およびドメイン固有のBERTモデルの評価を通じてユーザを導く。 2つ目は、ChatGPTやオープンソースのFLAN-T5からのスタンスを微調整なしで引き出すプロンプトの構築と、少数の例である。混乱行列とマクロF1スコアを用いて様々なプロンプト戦略を実装し評価する。チュートリアルではChatGPTとFLAN-T5の長所を示すコード、視覚化、洞察が提供されている。モデルファインチューニングとプロンプトベースの技術の両方を手軽に手動でカバーすることにより、学習者はスタンス検出のための最先端手法で応用経験を得ることができる。

関連論文リスト

Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文参考訳（メタデータ） (2024-08-29T12:34:01Z)
Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
論文参考訳（メタデータ） (2023-05-21T21:50:27Z)
M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文参考訳（メタデータ） (2023-03-09T09:05:47Z)
Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
論文参考訳（メタデータ） (2023-02-02T06:38:44Z)
Memorization of Named Entities in Fine-tuned BERT Models [3.0177210416625115]
細調整BERTモデルにおける名前付きエンティティ記憶の程度について検討する。細調整されたBERTは、事前訓練されたBERTモデルよりも、細調整されたデータセットに特有の名前付きエンティティを生成できないことを示す。
論文参考訳（メタデータ） (2022-12-07T16:20:50Z)
Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
論文参考訳（メタデータ） (2022-11-23T07:00:11Z)
PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
論文参考訳（メタデータ） (2022-04-03T22:31:25Z)
Prototypical Verbalizer for Prompt-based Few-shot Tuning [32.74024339482436]
本稿では,学習データから直接構築した動詞化器(ProtoVerb)を提案する。 ProtoVerbは、比較学習によりプロトタイプベクトルを原型動詞化子として学習する。トピック分類とエンティティ型付けの両方の実験を行い、その結果、ProtoVerbが現在の自動動詞処理よりも大幅に優れていることを示した。
論文参考訳（メタデータ） (2022-03-18T07:07:56Z)
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
論文参考訳（メタデータ） (2020-11-20T14:45:46Z)
Table Search Using a Deep Contextualized Language Model [20.041167804194707]
本稿では、アドホックテーブル検索のタスクに、文脈化言語モデルBERTを用いる。本稿では,テーブル検索における先行文献の特徴を取り入れた手法を提案し,BERTと共同で学習する。
論文参考訳（メタデータ） (2020-05-19T04:18:04Z)
lamBERT: Language and Action Learning Using Multimodal BERT [0.1942428068361014]
本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
論文参考訳（メタデータ） (2020-04-15T13:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。