論文の概要: Crafting In-context Examples according to LMs' Parametric Knowledge
- arxiv url: http://arxiv.org/abs/2311.09579v1
- Date: Thu, 16 Nov 2023 05:30:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 16:25:18.292084
- Title: Crafting In-context Examples according to LMs' Parametric Knowledge
- Title(参考訳): LMのパラメトリック知識によるコンテキスト内例の作成
- Authors: Yoonsang Lee, Pranav Atreya, Xi Ye, Eunsol Choi
- Abstract要約: 知識豊富なタスクのための文脈内サンプルセットの構築について検討する。
モデルがそのパラメトリックな知識から正しく答えられるような'既知の'例と、未知の'未知の'例を識別する。
実験の結果,'未知'の例では性能が低下することがわかった。
- 参考スコア(独自算出の注目度): 46.33718186200757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning has been applied to knowledge-rich tasks such as question
answering. In such scenarios, in-context examples are used to trigger a
behaviour in the language model: namely, it should surface information stored
in its parametric knowledge. We study the construction of in-context example
sets, with a focus on the parametric knowledge of the model regarding
in-context examples. We identify 'known' examples, where models can correctly
answer from its parametric knowledge, and 'unknown' ones. Our experiments show
that prompting with 'unknown' examples decreases the performance, potentially
as it encourages hallucination rather than searching its parametric knowledge.
Constructing an in-context example set that presents both known and unknown
information performs the best across diverse settings. We perform analysis on
three multi-answer question answering datasets, which allows us to further
study answer set ordering strategies based on the LM's knowledge about each
answer. Together, our study sheds lights on how to best construct in-context
example sets for knowledge-rich tasks.
- Abstract(参考訳): インコンテキスト学習は、質問応答のような知識豊富なタスクに適用されている。
このようなシナリオでは、インコンテキストの例を使って言語モデルの振る舞いをトリガーする。
文脈内例集合の構成を,文脈内例に関するモデルのパラメトリック知識に着目して検討する。
モデルがそのパラメトリックな知識から正しく答えられる'既知の'例と'未知の'例を識別する。
実験の結果, パラメトリックな知識を探索するよりも, 幻覚の促進に寄与するため, 未知例の促進が性能を低下させる可能性が示唆された。
既知の情報と未知の情報の両方を表示するコンテキスト内サンプルセットの構築は、さまざまな設定でベストを尽くします。
我々は3つの質問応答データセットの分析を行い、各回答に関するLMの知識に基づいて回答セット順序付け戦略をさらに研究することができる。
共に、知識豊富なタスクのためのコンテキスト内サンプルセットを最善に構築する方法を考察する。
関連論文リスト
- Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-14T05:23:08Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳(メタデータ) (2023-03-20T17:54:58Z) - DisentQA: Disentangling Parametric and Contextual Knowledge with
Counterfactual Question Answering [34.70206857546496]
質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。
答えが与えられた非パラメトリック知識に由来するかどうかは不明である。
本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
論文 参考訳(メタデータ) (2022-11-10T15:34:44Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳(メタデータ) (2020-11-07T22:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。