論文の概要: ELECTRA and GPT-4o: Cost-Effective Partners for Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2501.00062v1
• Date: Sun, 29 Dec 2024 05:29:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:01.920371
• Title: ELECTRA and GPT-4o: Cost-Effective Partners for Sentiment Analysis
• Title（参考訳）: ELECTRAとGPT-4o: センチメント分析のためのコスト効果連携
• Authors: James P. Beno,
• Abstract要約: 本稿では,3方向感情分類のためのELECTRAとGPT-4oの協調的アプローチについて検討する。 我々はStanford Sentiment Treebank(SST)とDynaSentのレビューを組み合わせて、4つのモデルを微調整した。 この結果から,微調整エンコーダの予測による拡張プロンプトが性能向上に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Bidirectional transformers excel at sentiment analysis, and Large Language Models (LLM) are effective zero-shot learners. Might they perform better as a team? This paper explores collaborative approaches between ELECTRA and GPT-4o for three-way sentiment classification. We fine-tuned (FT) four models (ELECTRA Base/Large, GPT-4o/4o-mini) using a mix of reviews from Stanford Sentiment Treebank (SST) and DynaSent. We provided input from ELECTRA to GPT as: predicted label, probabilities, and retrieved examples. Sharing ELECTRA Base FT predictions with GPT-4o-mini significantly improved performance over either model alone (82.74 macro F1 vs. 79.29 ELECTRA Base FT, 79.52 GPT-4o-mini) and yielded the lowest cost/performance ratio (\$0.12/F1 point). However, when GPT models were fine-tuned, including predictions decreased performance. GPT-4o FT-M was the top performer (86.99), with GPT-4o-mini FT close behind (86.77) at much less cost (\$0.38 vs. \$1.59/F1 point). Our results show that augmenting prompts with predictions from fine-tuned encoders is an efficient way to boost performance, and a fine-tuned GPT-4o-mini is nearly as good as GPT-4o FT at 76% less cost. Both are affordable options for projects with limited resources.
• Abstract（参考訳）: 双方向トランスフォーマーは感情分析に優れ、Large Language Models (LLM) は効果的なゼロショット学習者である。 彼らはチームとしてより良いパフォーマンスを得られるだろうか? 本稿では,3方向感情分類のためのELECTRAとGPT-4oの協調的アプローチについて検討する。 我々は,Stanford Sentiment Treebank (SST) と DynaSent の4つのモデル (ELECTRA Base/Large, GPT-4o/4o-mini) についてレビューを行った。 ELECTRAからGPTへの入力を予測ラベル,確率,検索例として提供した。 GPT-4o-miniによるELECTRAベースFT予測の共有は、どちらのモデルよりも性能が向上した(82.74マクロF1対79.29マクロF1対79.52 ELECTRAベースFT、79.52 GPT-4o-mini)。 しかし、GPTモデルが微調整されると、予測性能は低下した。 GPT-4o FT-Mはトップパフォーマー (86.99) であり、GPT-4o-mini FT は86.77 に近づき、より安価 ($0.38 vs. \$1.59/F1) であった。 以上の結果から,微調整エンコーダによる予測による拡張プロンプトは性能向上の有効な方法であり,微調整 GPT-4o-mini は 76% のコストで GPT-4o FT に匹敵する性能を示した。 どちらも限られたリソースを持つプロジェクトでは手頃な価格の選択肢だ。

関連論文リスト

• Utilizing Large Language Models for Named Entity Recognition in Traditional Chinese Medicine against COVID-19 Literature: Comparative Study [4.680391123850371]
  新型コロナウイルスに対するTCMに関する389項目のデータセットを作成し,その内48項目に3つのドメインに属する6種類のエンティティを手動で注釈付けした。 次に、ChatGPT(GPT-3.5およびGPT-4)と4つの最先端BERTベースの質問応答(QA)モデルを用いて、6つのエンティティタイプに対してNERタスクを実行した。
  論文  参考訳（メタデータ） (2024-08-24T06:59:55Z)
• Detect Llama -- Finding Vulnerabilities in Smart Contracts using Large Language Models [27.675558033502565]
  我々は、スマートコントラクト脆弱性検出において、GPT-4より優れたオープンソースモデルを微調整する。 バイナリ分類(つまり、このスマートコントラクトは脆弱か?)では、GPT-3.5FTとTect Llama-Foundationという2つの最高のパフォーマンスモデルがF1スコアを達成しています。 GPT-3.5FT と Detect Llama - Foundation はいずれも GPT-4 と GPT-4 Turbo を大きく上回っている。
  論文  参考訳（メタデータ） (2024-07-12T03:33:13Z)
• GPT vs RETRO: Exploring the Intersection of Retrieval and Parameter-Efficient Fine-Tuning [48.71952325015267]
  PEFT法を改良型Retrieval-Enhanced Transformer (RETRO) およびベースラインGPTモデルに適用する。 本稿では、RETROモデルが、独自の事前学習プロセスにより、ゼロショット設定でGPTモデルより優れていることを示す。 本研究は, GPTモデルとRETROモデルの両方に適用された各種PEFT法をRAGと統合した最初の包括的比較である。
  論文  参考訳（メタデータ） (2024-07-05T14:16:47Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4 [10.01547158445743]
  各種大規模言語モデル (LLM) を複数戦略で評価する。例えば、Chain-of-Thought, In-Context Learning, Efficient Fine-Tuning (PEFT) などである。 その結果,2つのPEFTアダプタはF1スコア(+0.0346)とLLMの一貫性(+0.152)を改善した。 3つの指標を平均して、GPT-4は0.8328との競争で1位となった。
  論文  参考訳（メタデータ） (2024-03-30T22:27:21Z)
• ORPO: Monolithic Preference Optimization without Reference Model [9.53888551630878]
  選好アライメントの文脈において,教師付き微調整が果たす重要な役割について検討した。 モデルフリーなモノリシックオッズ比最適化アルゴリズムORPOを導入し、追加の選好アライメントフェーズの必要性を排除した。 具体的には、Phi-2 (2.7B)、Llama-2 (7B)、Mistral (7B)、ORPO on the UltraFeedbackは、7Bと13B以上のパラメータを持つ最先端言語モデルの性能を上回っている。
  論文  参考訳（メタデータ） (2024-03-12T14:34:08Z)
• Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation [50.00235162432848]
  我々は22Kパラレル文と12Mパラメータしか持たないALMAモデルを訓練する。 ALMA-Rと呼ばれる結果のモデルは、WMTコンテストの勝者とGPT-4のパフォーマンスと一致または上回ることができる。
  論文  参考訳（メタデータ） (2024-01-16T15:04:51Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [52.14681890859275]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。