論文の概要: Context-faithful Prompting for Large Language Models

• arxiv url: http://arxiv.org/abs/2303.11315v2
• Date: Mon, 23 Oct 2023 03:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 13:27:44.336968
• Title: Context-faithful Prompting for Large Language Models
• Title（参考訳）: 大規模言語モデルのための文脈忠実なプロンプト
• Authors: Wenxuan Zhou, Sheng Zhang, Hoifung Poon, Muhao Chen
• Abstract要約: 大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
• 参考スコア（独自算出の注目度）: 51.194410884263135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) encode parametric knowledge about world facts and have shown remarkable performance in knowledge-driven NLP tasks. However, their reliance on parametric knowledge may cause them to overlook contextual cues, leading to incorrect predictions in context-sensitive NLP tasks (e.g., knowledge acquisition tasks). In this paper, we seek to assess and enhance LLMs' contextual faithfulness in two aspects: knowledge conflict and prediction with abstention. We demonstrate that LLMs' faithfulness can be significantly improved using carefully designed prompting strategies. In particular, we identify opinion-based prompts and counterfactual demonstrations as the most effective methods. Opinion-based prompts reframe the context as a narrator's statement and inquire about the narrator's opinions, while counterfactual demonstrations use instances containing false facts to improve faithfulness in knowledge conflict situations. Neither technique requires additional training. We conduct experiments on three datasets of two standard NLP tasks, machine reading comprehension and relation extraction, and the results demonstrate significant improvement in faithfulness to contexts. Code and data are released at https://github.com/wzhouad/context-faithful-llm.
• Abstract（参考訳）: 大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化し、知識駆動NLPタスクにおいて顕著な性能を示した。 しかし、パラメトリックな知識への依存は、文脈的な手がかりを見落とし、文脈に敏感なNLPタスク(例えば知識獲得タスク)における誤った予測につながる可能性がある。 本稿では,LLMの文脈的忠実度を2つの側面,すなわち知識の衝突と棄却を伴う予測とで評価し,向上する。 LLMの忠実度は、慎重に設計されたプロンプト戦略を用いて大幅に改善できることを示す。 特に、意見に基づくプロンプトや反事実デモを最も効果的な方法として特定する。 意見に基づくプロンプトは、ナレーターの声明として文脈を再枠組みし、ナレーターの意見を問うが、反事実的なデモでは、誤った事実を含む例を使用して、知識紛争の状況における忠実性を改善する。 どちらの技法も追加の訓練を必要としない。 我々は,2つの標準NLPタスクの3つのデータセット,機械読解と関係抽出について実験を行い,その結果から文脈への忠実性の顕著な改善が示された。 コードとデータはhttps://github.com/wzhouad/context-faithful-llmでリリースされる。

関連論文リスト

• On the loss of context-awareness in general instruction fine-tuning [101.03941308894191]
  命令応答対における教師付き微調整(SFT)のようなポストトレーニング手法は、事前トレーニング中に学習した既存の能力を損なう可能性がある。 そこで本研究では,ユーザプロンプトに配慮したポストホックアテンション・ステアリングと,コンテキスト依存度指標を用いた条件付きインストラクションの微調整という,インストラクションモデルにおけるコンテキスト認識の損失を軽減する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Recording for Eyes, Not Echoing to Ears: Contextualized Spoken-to-Written Conversion of ASR Transcripts [18.217375601357364]
  本研究では,ASRと文法の誤りに対処する文脈対応型スポンケン・トゥ・ブリッテン変換(CoS2W)タスクを提案する。 このタスクは、Large Language Models(LLM)のコンテキスト内学習機能と自然に一致する。
  論文  参考訳（メタデータ） (2024-08-19T03:53:48Z)
• Explainable Few-shot Knowledge Tracing [48.877979333221326]
  本稿では,学生の記録から学生の知識をトラッキングし,自然言語による説明を提供する認知誘導フレームワークを提案する。 3つの広く使われているデータセットによる実験結果から、LLMは競合する深層知識追跡手法に匹敵する、あるいは優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T10:07:21Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。