論文の概要: Crafting In-context Examples according to LMs' Parametric Knowledge

• arxiv url: http://arxiv.org/abs/2311.09579v1
• Date: Thu, 16 Nov 2023 05:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 16:25:18.292084
• Title: Crafting In-context Examples according to LMs' Parametric Knowledge
• Title（参考訳）: LMのパラメトリック知識によるコンテキスト内例の作成
• Authors: Yoonsang Lee, Pranav Atreya, Xi Ye, Eunsol Choi
• Abstract要約: 知識豊富なタスクのための文脈内サンプルセットの構築について検討する。 モデルがそのパラメトリックな知識から正しく答えられるような'既知の'例と、未知の'未知の'例を識別する。 実験の結果,'未知'の例では性能が低下することがわかった。
• 参考スコア（独自算出の注目度）: 46.33718186200757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning has been applied to knowledge-rich tasks such as question answering. In such scenarios, in-context examples are used to trigger a behaviour in the language model: namely, it should surface information stored in its parametric knowledge. We study the construction of in-context example sets, with a focus on the parametric knowledge of the model regarding in-context examples. We identify 'known' examples, where models can correctly answer from its parametric knowledge, and 'unknown' ones. Our experiments show that prompting with 'unknown' examples decreases the performance, potentially as it encourages hallucination rather than searching its parametric knowledge. Constructing an in-context example set that presents both known and unknown information performs the best across diverse settings. We perform analysis on three multi-answer question answering datasets, which allows us to further study answer set ordering strategies based on the LM's knowledge about each answer. Together, our study sheds lights on how to best construct in-context example sets for knowledge-rich tasks.
• Abstract（参考訳）: インコンテキスト学習は、質問応答のような知識豊富なタスクに適用されている。 このようなシナリオでは、インコンテキストの例を使って言語モデルの振る舞いをトリガーする。 文脈内例集合の構成を,文脈内例に関するモデルのパラメトリック知識に着目して検討する。 モデルがそのパラメトリックな知識から正しく答えられる'既知の'例と'未知の'例を識別する。 実験の結果, パラメトリックな知識を探索するよりも, 幻覚の促進に寄与するため, 未知例の促進が性能を低下させる可能性が示唆された。 既知の情報と未知の情報の両方を表示するコンテキスト内サンプルセットの構築は、さまざまな設定でベストを尽くします。 我々は3つの質問応答データセットの分析を行い、各回答に関するLMの知識に基づいて回答セット順序付け戦略をさらに研究することができる。 共に、知識豊富なタスクのためのコンテキスト内サンプルセットを最善に構築する方法を考察する。

関連論文リスト

• When Context Leads but Parametric Memory Follows in Large Language Models [4.567122178196834]
  大規模言語モデル (LLM) は多様な知識源の活用において顕著な進歩を見せている。 本研究では,9つのLLMがオープンな質問に対して,局所的な文脈とグローバルなパラメータの知識を割り当てる方法について検討した。
  論文  参考訳（メタデータ） (2024-09-13T00:03:19Z)
• Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs [18.983753573277596]
  そこで本研究では,内部知識の獲得と学習を併用した,文脈内学習機構の評価フレームワークを提案する。 まず、LLMが実世界のデータセット上で回帰処理を行い、LLMが内部知識を取得する範囲を計測する実験を設計できることを示す。 本稿では,これらのメカニズムが様々な要因によって引き起こされる度合いを詳細に分析する。
  論文  参考訳（メタデータ） (2024-09-06T14:46:37Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。