論文の概要: Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs
- arxiv url: http://arxiv.org/abs/2409.04318v1
- Date: Fri, 6 Sep 2024 14:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 15:34:51.345590
- Title: Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs
- Title（参考訳）: 学習対検索:LLMによる回帰における文脈内事例の役割
- Authors: Aliakbar Nafar, Kristen Brent Venable, Parisa Kordjamshidi,
- Abstract要約: そこで本研究では,内部知識の獲得と学習を併用した,文脈内学習機構の評価フレームワークを提案する。
まず、LLMが実世界のデータセット上で回帰処理を行い、LLMが内部知識を取得する範囲を計測する実験を設計できることを示す。
本稿では,これらのメカニズムが様々な要因によって引き起こされる度合いを詳細に分析する。
- 参考スコア（独自算出の注目度）: 18.983753573277596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Large Language Models (LLMs) are capable of being in-context learners. However, the underlying mechanism of in-context learning (ICL) is still a major research question, and experimental research results about how models exploit ICL are not always consistent. In this work, we propose a framework for evaluating in-context learning mechanisms, which we claim are a combination of retrieving internal knowledge and learning from in-context examples by focusing on regression tasks. First, we show that LLMs can perform regression on real-world datasets and then design experiments to measure the extent to which the LLM retrieves its internal knowledge versus learning from in-context examples. We argue that this process lies on a spectrum between these two extremes. We provide an in-depth analysis of the degrees to which these mechanisms are triggered depending on various factors, such as prior knowledge about the tasks and the type and richness of the information provided by the in-context examples. We employ three LLMs and utilize multiple datasets to corroborate the robustness of our findings. Our results shed light on how to engineer prompts to leverage meta-learning from in-context examples and foster knowledge retrieval depending on the problem being addressed.
- Abstract（参考訳）: 生成型大規模言語モデル(LLM)は、文脈内学習者(in-context learninger)である。
しかし、インコンテキスト学習(ICL)の基盤となるメカニズムは依然として主要な研究課題であり、モデルがICLをどのように活用するかに関する実験的な研究結果は必ずしも一貫性がない。
本研究では,内部知識の抽出と,回帰タスクに着目したインコンテキスト事例からの学習を併用した,インコンテキスト学習機構の評価フレームワークを提案する。
まず、LLMが実世界のデータセット上で回帰処理を行い、LLMが内部知識を取得する範囲を、文脈内サンプルから学習する範囲で測定する実験を設計できることを示す。
この過程は、この2つの極端の間のスペクトル上にあると我々は主張する。
本稿では,これらのメカニズムがタスクに関する事前の知識や,インコンテキストの例によって提供される情報のタイプと豊かさなど,様々な要因によって引き起こされる度合いを詳細に分析する。
我々は3つのLSMを使用し、複数のデータセットを用いて結果のロバスト性を相関づける。
この結果から,コンテキスト内事例からのメタラーニングの活用と,課題に応じて知識検索の促進を図った。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - When Context Leads but Parametric Memory Follows in Large Language Models [4.567122178196834]
大規模言語モデル (LLM) は多様な知識源の活用において顕著な進歩を見せている。
本研究では,9つのLLMがオープンな質問に対して,局所的な文脈とグローバルなパラメータの知識を割り当てる方法について検討した。
論文 参考訳（メタデータ） (2024-09-13T00:03:19Z) - LLM In-Context Recall is Prompt Dependent [0.0]
これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。
本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
論文 参考訳（メタデータ） (2024-04-13T01:13:59Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-02-17T11:28:08Z) - Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts? [45.233517779029334]
応答が生成されたコンテキストと検索されたコンテキストに関連付けられているかどうかを識別する。
実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
論文 参考訳（メタデータ） (2024-01-22T12:54:04Z) - Decoding In-Context Learning: Neuroscience-inspired Analysis of
Representations in Large Language Models [5.062236259068678]
In-context Learning (ICL) による大規模言語モデル(LLM)の性能向上について検討する。
本稿では,Llama-270BとVicuna 13Bのパラメータ化探索と,関連する情報と無関係情報に対する注意度の測定方法を提案する。
ICL後の行動改善とLLM層間の埋め込みと注意重みの変化との間に有意な相関が認められた。
論文 参考訳（メタデータ） (2023-09-30T09:01:35Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-14T05:23:08Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳（メタデータ） (2023-05-22T06:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。