論文の概要: Looking Right is Sometimes Right: Investigating the Capabilities of
Decoder-only LLMs for Sequence Labeling
- arxiv url: http://arxiv.org/abs/2401.14556v2
- Date: Tue, 27 Feb 2024 16:48:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 21:18:54.300390
- Title: Looking Right is Sometimes Right: Investigating the Capabilities of
Decoder-only LLMs for Sequence Labeling
- Title(参考訳): 正しい視線は時々正しい:シーケンスラベリングのためのデコーダのみのLCMの能力の検討
- Authors: David Duki\'c, Jan \v{S}najder
- Abstract要約: 最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。
因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。
その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained language models based on masked language modeling (MLM) excel in
natural language understanding (NLU) tasks. While fine-tuned MLM-based encoders
consistently outperform causal language modeling decoders of comparable size,
recent decoder-only large language models (LLMs) perform on par with smaller
MLM-based encoders. Although their performance improves with scale, LLMs fall
short of achieving state-of-the-art results in information extraction (IE)
tasks, many of which are formulated as sequence labeling (SL). We hypothesize
that LLMs' poor SL performance stems from causal masking, which prevents the
model from attending to tokens on the right of the current token. Yet, how
exactly and to what extent LLMs' performance on SL can be improved remains
unclear. We explore techniques for improving the SL performance of open LLMs on
IE tasks by applying layer-wise removal of the causal mask (CM) during LLM
fine-tuning. This approach yields performance gains competitive with
state-of-the-art SL models, matching or outperforming the results of CM removal
from all blocks. Our findings hold for diverse SL tasks, demonstrating that
open LLMs with layer-dependent CM removal outperform strong MLM-based encoders
and even instruction-tuned LLMs.
- Abstract(参考訳): マスク付き言語モデリング(MLM)に基づく事前学習言語モデルは、自然言語理解(NLU)タスクに優れている。
微調整されたMLMベースのエンコーダは、因果言語モデリングデコーダを同等の大きさで一貫して上回るが、最近のデコーダのみの大規模言語モデル(LLM)は、より小さなMLMベースのエンコーダと同等に動作する。
その性能は規模によって向上するが、LLMは情報抽出(IE)タスクにおける最先端の成果を達成できず、その多くがシーケンスラベリング(SL)として定式化されている。
LLMの貧弱なSL性能は因果マスキングに起因すると仮定し、現在のトークンの右側のトークンにモデルが入らないようにする。
しかし、slにおけるllmsのパフォーマンスがどの程度改善できるかは、まだ不明である。
LLMの微調整中にCM(Cousal mask)を階層的に除去することで,IEタスク上でのオープンLCMのSL性能を向上させる手法を検討する。
このアプローチは、最先端のSLモデルと競合する性能向上をもたらし、全てのブロックからCM除去結果のマッチングや性能向上を行う。
その結果,層依存性CM除去によるオープンLCMは,MLMベースのエンコーダや命令調整LDMよりも優れていた。
関連論文リスト
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - SLEB: Streamlining LLMs through Redundancy Verification and Elimination
of Transformer Blocks [10.552149379573653]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて非常に効果的であることが証明されている。
既存の手法はしばしば、実質的なエンドツーエンドのLLM推論スピードアップを達成するのに苦労する。
SLEBは、冗長なトランスフォーマーブロックを排除し、LCMを合理化するための新しいアプローチである。
論文 参考訳(メタデータ) (2024-02-14T09:01:13Z) - An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。
最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。
そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
論文 参考訳(メタデータ) (2024-02-13T23:25:04Z) - Mutual Enhancement of Large and Small Language Models with Cross-Silo
Knowledge Transfer [27.63746419563747]
大規模言語モデル (LLM) には幅広い知識が与えられているが、そのタスク固有の性能は、しばしば準最適である。
タスク固有のデータで微調整 LLM を必要とするが、プライバシー上の懸念からアクセスできない可能性がある。
本研究では,より小さな言語モデル (SLM) でLLMを強化し,クライアント上でプライベートなタスク固有データを用いて学習する手法を提案する。
論文 参考訳(メタデータ) (2023-12-10T09:52:32Z) - CLAMP: Contrastive LAnguage Model Prompt-tuning [96.5230327196615]
このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。
我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
論文 参考訳(メタデータ) (2023-12-04T05:13:59Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - Label Supervised LLaMA Finetuning [13.939718306233617]
本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。
最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。
LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
論文 参考訳(メタデータ) (2023-10-02T13:53:03Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z) - Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。
我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。
4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
論文 参考訳(メタデータ) (2023-05-22T22:07:50Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。