Fugu-MT 論文翻訳(概要): Instruction Tuning with Lexicons for Zero-Shot Style Classification

論文の概要: Instruction Tuning with Lexicons for Zero-Shot Style Classification

arxiv url: http://arxiv.org/abs/2305.14592v1
Date: Wed, 24 May 2023 00:17:36 GMT
ステータス: 処理完了
システム内更新日: 2023-05-25 21:09:28.259740
Title: Instruction Tuning with Lexicons for Zero-Shot Style Classification
Title（参考訳）: ゼロショットスタイル分類のための辞書を用いた授業チューニング
Authors: Ruohao Guo, Wei Xu, Alan Ritter
Abstract要約: 学習中に目に見えない新しいスタイルを識別する方法を言語モデルに教える手段として,スタイルレキシコンの有効性について検討する。本研究では,レキシコンをベースとした命令により,転送ゼロショット性能が大幅に向上したことを示す。
参考スコア（独自算出の注目度）: 21.91892655425774
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Style is used to convey authors' intentions and attitudes. Despite the success of large pre-trained language models on style classification, prior work relies on fine-tuning with labeled examples. Prompting large language models to classify style without fine-tuning is challenging because language styles can be difficult to define. In this study, we investigate the effectiveness of style lexicons as a means for instructing language models how to identify new styles that are unseen during training. Our experiments show that lexicon-based instructions improve transfer zero-shot performance significantly. We will release our code and data.
Abstract（参考訳）: スタイルは著者の意図や態度を伝えるのに使われる。スタイル分類による大規模事前学習言語モデルの成功にもかかわらず、先行研究はラベル付き例の微調整に依存している。大きな言語モデルに微調整なしでスタイルを分類するよう促すのは、言語スタイルを定義するのが難しいため難しい。本研究では,学習中に見つからない新しいスタイルの識別方法を言語モデルに教える手段として,スタイルレキシコンの有効性を検討する。実験の結果,レキシコンベースの命令は転送ゼロショット性能を大幅に改善した。コードとデータをリリースします。

関連論文リスト

Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation [6.688680877428467]
そこで我々は,Gloss-free Multimodal Sign Language Translationフレームワークを提案する。マルチモーダルな大言語モデルを用いて手話コンポーネントの詳細なテキスト記述を生成する。提案手法は,ベンチマークデータセットPHOENIX14TとCSL-Dailyの最先端性能を実現する。
論文参考訳（メタデータ） (2024-11-25T09:01:41Z)
Using Prompts to Guide Large Language Models in Imitating a Real Person's Language Style [8.653992214883726]
本研究では,同じゼロショットプロンプトの指導の下で,3つの異なる大言語モデルの言語スタイルの模倣能力を比較する。また、3つの異なるプロンプトによって個別にガイドされる場合、同じ大きな言語モデルの模倣能力を比較する。 Llama 3にTree-of-Thoughts (ToT) Promptingメソッドを適用することで、実際の人の言語スタイルを持つ会話型AIが作られた。
論文参考訳（メタデータ） (2024-10-04T18:30:34Z)
CUTE: Measuring LLMs' Understanding of Their Tokens [54.70665106141121]
大きな言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示す。 LLMはどの程度の間、正書法情報を学ぶことができるのか? LLMの正書法知識をテストするために設計されたタスクの集合を特徴とする新しいベンチマークを提案する。
論文参考訳（メタデータ） (2024-09-23T18:27:03Z)
Customizing Large Language Model Generation Style using Parameter-Efficient Finetuning [24.263699489328427]
ワンサイズフィットのすべての大規模言語モデル(LLM)は、人々が書くのを助けるためにますます使われています。本稿では,Low-Rank Adaptationを用いたパラメータ効率ファインタニング(PEFT)がLLM世代を効果的に導くことができるかどうかを考察する。
論文参考訳（メタデータ） (2024-09-06T19:25:18Z)
Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts [50.40191599304911]
非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
論文参考訳（メタデータ） (2024-07-02T14:51:20Z)
Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文参考訳（メタデータ） (2024-01-04T18:59:49Z)
ICL Markup: Structuring In-Context Learning using Soft-Token Tags [8.211752085441923]
大規模事前訓練言語モデル(LLM)は、テキストからテキストへのアプローチによって、幅広いタスクに迅速に適応することができる。 HTMLのようなマークアップ言語にインスパイアされた我々は、プロンプトテンプレートを構成するためにソフトトークンタグを使用する方法に貢献する。本手法はICLのためのメタラーニングの一種であり,パラメータ効率の良い微調整ウォームアッププロセスにおいて,事前にこれらのタグを学習する。
論文参考訳（メタデータ） (2023-12-12T16:25:05Z)
The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
論文参考訳（メタデータ） (2023-11-16T09:35:50Z)
InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
論文参考訳（メタデータ） (2023-05-23T02:51:34Z)
Word Embeddings Are Steers for Language Models [57.83026781380927]
このようなステアをLM-Steersと呼び、すべてのサイズのLMに存在するものを見つけます。言語モデルのデトックス化や感情制御といったタスクでは、LM-Steersは同等または優れたパフォーマンスを達成することができる。 LM-Steerは明示的な形式計算により異なる言語モデル間で転送可能である。
論文参考訳（メタデータ） (2023-05-22T07:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。