論文の概要: Crafting In-context Examples according to LMs' Parametric Knowledge

• arxiv url: http://arxiv.org/abs/2311.09579v2
• Date: Thu, 4 Apr 2024 01:00:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 20:03:06.880697
• Title: Crafting In-context Examples according to LMs' Parametric Knowledge
• Title（参考訳）: LMのパラメトリック知識によるコンテキスト内例の作成
• Authors: Yoonsang Lee, Pranav Atreya, Xi Ye, Eunsol Choi,
• Abstract要約: 文脈内サンプルは言語モデル(LM)をトリガーし、パラメトリック知識に格納された情報をサーフェスする。 モデルがパラメトリックな知識から正しく答えられるような'既知の'例と、未知の'未知の'例を識別する。 実験の結果,「未知」の例では幻覚が促進されるため,効果が低下する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 42.41668563471588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning can improve the performances of knowledge-rich tasks such as question answering. In such scenarios, in-context examples trigger a language model (LM) to surface information stored in its parametric knowledge. We study how to better construct in-context example sets, based on whether the model is aware of the in-context examples. We identify 'known' examples, where models can correctly answer from their parametric knowledge, and 'unknown' ones. Our experiments show that prompting with 'unknown' examples decreases the performance, potentially as it encourages hallucination rather than searching for its parametric knowledge. Constructing an in-context example set that presents both known and unknown information performs the best across diverse settings. We perform analysis on three multi-answer question answering datasets, which allows us to further study answer set ordering strategies based on the LM's knowledge of each answer. Together, our study sheds light on how to best construct in-context example sets for knowledge-rich tasks.
• Abstract（参考訳）: コンテキスト内学習は、質問応答のような知識豊富なタスクのパフォーマンスを向上させることができる。 このようなシナリオでは、コンテキスト内の例が言語モデル(LM)をトリガーし、パラメトリック知識に格納された情報をサーフェスする。 そこで本研究では,モデルがコンテキスト内サンプルを認識しているかどうかに基づいて,コンテキスト内サンプルセットをよりよく構築する方法について検討する。 モデルがパラメトリックな知識から正しく答えられるような'既知の'例と、未知の'未知の'例を識別する。 実験の結果, パラメトリックな知識を探索するよりも, 幻覚を助長する可能性があり, 「未知」の例でみると, 性能が低下することが示唆された。 既知の情報と未知の情報の両方を示すコンテキスト内サンプルセットの構築は、さまざまな設定で最高のパフォーマンスを発揮する。 我々は,3つの質問応答データセットの分析を行い,各回答に関するLMの知識に基づいて,回答セットの順序付け戦略をさらに研究することができる。 そこで本研究では,知識豊富なタスクに対して,コンテキスト内サンプルセットを最適に構築する方法について検討した。

関連論文リスト

• When Context Leads but Parametric Memory Follows in Large Language Models [4.567122178196834]
  大規模言語モデル (LLM) は多様な知識源の活用において顕著な進歩を見せている。 本研究では,9つのLLMがオープンな質問に対して,局所的な文脈とグローバルなパラメータの知識を割り当てる方法について検討した。
  論文  参考訳（メタデータ） (2024-09-13T00:03:19Z)
• Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs [18.983753573277596]
  そこで本研究では,内部知識の獲得と学習を併用した,文脈内学習機構の評価フレームワークを提案する。 まず、LLMが実世界のデータセット上で回帰処理を行い、LLMが内部知識を取得する範囲を計測する実験を設計できることを示す。 本稿では,これらのメカニズムが様々な要因によって引き起こされる度合いを詳細に分析する。
  論文  参考訳（メタデータ） (2024-09-06T14:46:37Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。