論文の概要: Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching

• arxiv url: http://arxiv.org/abs/2403.19930v1
• Date: Fri, 29 Mar 2024 02:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:44:26.671588
• Title: Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching
• Title（参考訳）: LLMsは微調整に有効か?-中国語短文マッチングにおけるLLMの監督に関する実験的検討
• Authors: Shulin Liu, Chengcheng Xu, Hao Liu, Tinghao Yu, Tao Yang,
• Abstract要約: 中国語短文マッチング作業のための微調整LDMによる実験的検討を行った。 タスクモデリング手法,プロンプト形式,出力形式など,微調整LDMの性能に影響を及ぼす諸要因について検討する。
• 参考スコア（独自算出の注目度）: 12.213307496643376
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The recent success of Large Language Models (LLMs) has garnered significant attention in both academia and industry. Prior research on LLMs has primarily focused on enhancing or leveraging their generalization capabilities in zero- and few-shot settings. However, there has been limited investigation into effectively fine-tuning LLMs for a specific natural language understanding task in supervised settings. In this study, we conduct an experimental analysis by fine-tuning LLMs for the task of Chinese short text matching. We explore various factors that influence performance when fine-tuning LLMs, including task modeling methods, prompt formats, and output formats.
• Abstract（参考訳）: 近年のLarge Language Models(LLMs)の成功は、学術と産業の両方において大きな注目を集めている。 LLMの以前の研究は、主にゼロショットと少数ショットの設定における一般化能力の強化や活用に重点を置いていた。 しかし、教師付き設定において、特定の自然言語理解タスクに対して、効果的に微調整されたLLMについて限定的な調査がなされている。 本研究では,中国語短文マッチング作業のための微調整LDMによる実験的検討を行った。 タスクモデリング手法,プロンプト形式,出力形式など,微調整LDMの性能に影響を及ぼす諸要因について検討する。

関連論文リスト

• A Comprehensive Evaluation of Large Language Models on Aspect-Based Sentiment Analysis [26.505386645322506]
  大規模言語モデル(LLM)は自然言語処理の分野で注目を集めている。 本稿では,ABSA分野におけるLLMの包括的評価に光を当て,13のデータセット,8のABSAサブタスク,6のLLMを含む。 実験により,LLMは微調整型小言語モデル (SLM) と比較して,微調整型に依存したパラダイムで,新しい最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-12-03T08:54:17Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
  数学語問題(MWP)は、大規模言語モデル(LLM)の能力を評価する上で重要な役割を果たす。 より長い文脈が数学的推論に与える影響は未解明のままである。 本研究は文脈長一般化可能性(CoLeG)の研究の先駆者である。
  論文  参考訳（メタデータ） (2024-05-23T17:13:50Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• On the (In)Effectiveness of Large Language Models for Chinese Text Correction [44.32102000125604]
  大規模言語モデル(LLM)は、人工知能コミュニティ全体を驚かせた。 本研究は,中国語のNLP課題である中国語のテキスト訂正に焦点を当てた。 LLMは、現在、中国語のテキスト訂正において、素晴らしいパフォーマンスと不満足な動作の両方を持っていることを実証的に見出した。
  論文  参考訳（メタデータ） (2023-07-18T06:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。