論文の概要: Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions

• arxiv url: http://arxiv.org/abs/2408.08780v1
• Date: Fri, 16 Aug 2024 14:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:14:04.779908
• Title: Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions
• Title（参考訳）: 大型の言語モデルは、あなたが言っていることを気にしていないかもしれない: Prompt Formatが説明を破る
• Authors: Chenming Tang, Zhixiang Wang, Yunfang Wu,
• Abstract要約: 本稿では,複数のコンテキスト内サンプルの選択基準を記述するためのアンサンブルプロンプトフレームワークを提案する。 6つの翻訳方向にわたる機械翻訳(MT)の予備実験により、このフレームワークがICLの出現を促進することが確認された。
• 参考スコア（独自算出の注目度）: 13.87098305304058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the help of in-context learning (ICL), large language models (LLMs) have achieved impressive performance across various tasks. However, the function of descriptive instructions during ICL remains under-explored. In this work, we propose an ensemble prompt framework to describe the selection criteria of multiple in-context examples, and preliminary experiments on machine translation (MT) across six translation directions confirm that this framework boosts ICL perfromance. But to our surprise, LLMs might not necessarily care what the descriptions actually say, and the performance gain is primarily caused by the ensemble format, since the framework could lead to improvement even with random descriptive nouns. We further apply this new ensemble prompt on a range of commonsense, math, logical reasoning and hallucination tasks with three LLMs and achieve promising results, suggesting again that designing a proper prompt format would be much more effective and efficient than paying effort into specific descriptions. Our code will be publicly available once this paper is published.
• Abstract（参考訳）: In-context Learning (ICL) の助けを借りて、大規模言語モデル (LLM) は様々なタスクで優れたパフォーマンスを実現している。 しかし、ICLにおける記述的命令の機能はいまだ解明されていない。 本研究では,複数のテキスト中のサンプルの選択基準を記述するためのアンサンブルプロンプトフレームワークを提案する。 しかし驚いたことに、LLMは必ずしも記述が実際に何を言っているかを気にせず、パフォーマンスの向上は主にアンサンブルフォーマットによって引き起こされる。 さらに、この新たなアンサンブルプロンプトを、3つの LLM を用いたコモンセンス、数学、論理的推論、幻覚タスクに適用し、有望な結果を得る。 この論文が公開されたら、私たちのコードは公開されます。

関連論文リスト

• PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
  PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。 PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。 PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T22:25:15Z)
• Large Language Models are Pattern Matchers: Editing Semi-Structured and Structured Documents with ChatGPT [0.0]
  本稿では,Large Language Models (LLM) を最小限の労力で構造化文書や半構造化文書の編集に適用できるかどうかを検討する。 ChatGPTは、注釈付きドキュメントの構造を認識し、処理する強力な能力を示している。
  論文  参考訳（メタデータ） (2024-09-12T03:41:39Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• The language of prompting: What linguistic properties make a prompt successful? [13.034603322224548]
  LLMは、多くのNLPタスクにおいて、印象的なゼロショットまたは少数ショットのパフォーマンスを達成するよう促すことができる。 しかし、プロンプトの言語的特性がタスクのパフォーマンスとどのように関連しているかについての体系的な理解はいまだに欠けている。 モーメント,テンション,アスペクト,モダリティなどの文法的性質と,同義語の使用による語彙・意味の変化について検討する。
  論文  参考訳（メタデータ） (2023-11-03T15:03:36Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• Waffling around for Performance: Visual Classification with Random Words and Broad Concepts [121.60918966567657]
  WaffleCLIPはゼロショット視覚分類のためのフレームワークで、LLM生成した記述子をランダムな文字と単語記述子に置き換える。 LLM生成記述子で導入された追加意味論の影響と欠点について、広範囲にわたる実験的研究を行う。
  論文  参考訳（メタデータ） (2023-06-12T17:59:48Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。