論文の概要: Speak Like a Native: Prompting Large Language Models in a Native Style
- arxiv url: http://arxiv.org/abs/2311.13538v2
- Date: Wed, 10 Jan 2024 14:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 16:53:47.499485
- Title: Speak Like a Native: Prompting Large Language Models in a Native Style
- Title(参考訳): Speak Like a Native: 大規模言語モデルをネイティブスタイルで提案する
- Authors: Zhicheng Yang, Yiwei Wang, Yinya Huang, Jing Xiong, Xiaodan Liang,
Jing Tang
- Abstract要約: In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
- 参考スコア(独自算出の注目度): 53.84738665918496
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In-context learning (ICL) with large language models (LLMs) has become the
modern tools of choice for many natural language processing tasks. However, how
the text style of in-context examples influences the performance of LLMs still
remains under-explored. This paper presents a novel and effective approach,
named \textbf{AlignedCoT}, to improve the reasoning capability of LLMs by
aligning the in-context examples with the native style of LLMs.''Native''
refers to the inherent characteristic of LLMs which can be probed by zero-shot
scenarios.AlignedCoT is widely applicable to ICL methods, making it easy to
combine with state-of-the-art techniques to further improve the LLMs'
performance. We conduct extensive and comprehensive experiments on several
benchmarks on mathematical question-answering, common-sense reasoning, and text
understanding. The empirical results demonstrate that our AlignedCoT
significantly improves performance over the carefully handcrafted
demonstrations. Specifically, with AlignedCoT, we observe an average +3.2\%
improvement for \texttt{gpt-3.5-turbo} compared to the carefully handcrafted
CoT on multi-step reasoning benchmarks.Furthermore, we use AlignedCoT to
rewrite the CoT text style in the training set, which improves the performance
of Retrieval Augmented Generation by 3.6\%.The source code and dataset is
available at https://github.com/yangzhch6/AlignedCoT
- Abstract(参考訳): In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
しかし,テキスト形式がLLMの性能にどのように影響するかはいまだ解明されていない。
本稿では, LLMのネイティブスタイルとコンテキスト内例を整合させることにより, LLMの推論能力を向上させるために, 新規で効果的なアプローチである \textbf{AlignedCoT} を提案する。
ゼロショットシナリオで探索できるLCMの固有の特性を「Native」と呼ぶが、AlignedCoTはICL法に広く適用されており、最先端技術と組み合わせてLLMの性能をより向上させることができる。
数学的質問答え、常識推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
実験の結果,アライメントコットは手作りのデモよりも性能が著しく向上した。
具体的には、AlignedCoTでは、マルチステップ推論ベンチマークで慎重に手作りされたCoTと比較して平均+3.2\%の改善が見られ、さらに、AlignedCoTを使用してトレーニングセットのCoTテキストスタイルを書き換えることで、Retrieval Augmented Generationのパフォーマンスが3.6\%向上する。
ソースコードとデータセットはhttps://github.com/yangzhch6/alignedcotで入手できる。
関連論文リスト
- Leveraging Code to Improve In-context Learning for Semantic Parsing [53.15789586679881]
In-context Learning (ICL) は、その少数ショットの性質と一般化の改善により、意味解析に魅力的なアプローチである。
我々は,(1)DSLの代わりにPythonなどの汎用プログラミング言語を用いた意味解析におけるICLの有効性を向上し,(2)ドメイン記述を構造化したプロンプトを増強する。
論文 参考訳(メタデータ) (2023-11-16T02:50:06Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models? [10.56565195524981]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。
本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-10-12T12:31:23Z) - ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential
Behavior Comprehension in Recommendation [44.89764672511655]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。
ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文 参考訳(メタデータ) (2023-08-22T02:25:04Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。
提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
論文 参考訳(メタデータ) (2023-05-09T11:00:02Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。