論文の概要: Crafting In-context Examples according to LMs' Parametric Knowledge
- arxiv url: http://arxiv.org/abs/2311.09579v2
- Date: Thu, 4 Apr 2024 01:00:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 20:03:06.880697
- Title: Crafting In-context Examples according to LMs' Parametric Knowledge
- Title(参考訳): LMのパラメトリック知識によるコンテキスト内例の作成
- Authors: Yoonsang Lee, Pranav Atreya, Xi Ye, Eunsol Choi,
- Abstract要約: 文脈内サンプルは言語モデル(LM)をトリガーし、パラメトリック知識に格納された情報をサーフェスする。
モデルがパラメトリックな知識から正しく答えられるような'既知の'例と、未知の'未知の'例を識別する。
実験の結果,「未知」の例では幻覚が促進されるため,効果が低下する可能性が示唆された。
- 参考スコア(独自算出の注目度): 42.41668563471588
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning can improve the performances of knowledge-rich tasks such as question answering. In such scenarios, in-context examples trigger a language model (LM) to surface information stored in its parametric knowledge. We study how to better construct in-context example sets, based on whether the model is aware of the in-context examples. We identify 'known' examples, where models can correctly answer from their parametric knowledge, and 'unknown' ones. Our experiments show that prompting with 'unknown' examples decreases the performance, potentially as it encourages hallucination rather than searching for its parametric knowledge. Constructing an in-context example set that presents both known and unknown information performs the best across diverse settings. We perform analysis on three multi-answer question answering datasets, which allows us to further study answer set ordering strategies based on the LM's knowledge of each answer. Together, our study sheds light on how to best construct in-context example sets for knowledge-rich tasks.
- Abstract(参考訳): コンテキスト内学習は、質問応答のような知識豊富なタスクのパフォーマンスを向上させることができる。
このようなシナリオでは、コンテキスト内の例が言語モデル(LM)をトリガーし、パラメトリック知識に格納された情報をサーフェスする。
そこで本研究では,モデルがコンテキスト内サンプルを認識しているかどうかに基づいて,コンテキスト内サンプルセットをよりよく構築する方法について検討する。
モデルがパラメトリックな知識から正しく答えられるような'既知の'例と、未知の'未知の'例を識別する。
実験の結果, パラメトリックな知識を探索するよりも, 幻覚を助長する可能性があり, 「未知」の例でみると, 性能が低下することが示唆された。
既知の情報と未知の情報の両方を示すコンテキスト内サンプルセットの構築は、さまざまな設定で最高のパフォーマンスを発揮する。
我々は,3つの質問応答データセットの分析を行い,各回答に関するLMの知識に基づいて,回答セットの順序付け戦略をさらに研究することができる。
そこで本研究では,知識豊富なタスクに対して,コンテキスト内サンプルセットを最適に構築する方法について検討した。
関連論文リスト
- Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳(メタデータ) (2024-03-26T06:57:23Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-14T05:23:08Z) - EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。
テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。
大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
論文 参考訳(メタデータ) (2023-05-24T01:40:57Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-05-02T17:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。