論文の概要: On Theoretical Interpretations of Concept-Based In-Context Learning

• arxiv url: http://arxiv.org/abs/2509.20882v1
• Date: Thu, 25 Sep 2025 08:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.78538
• Title: On Theoretical Interpretations of Concept-Based In-Context Learning
• Title（参考訳）: 概念に基づくインコンテキスト学習の理論的解釈について
• Authors: Huaze Tang, Tianren Peng, Shao-lun Huang,
• Abstract要約: In-Context Learning (ICL)は、自然言語処理と大規模言語モデル(LLM)アプリケーションにおいて重要な新しいパラダイムとして登場した。 本稿では,概念ベースICL (CB-ICL) と呼ばれる,特定のICLアプローチについて検討することを目的とする。 特に,CB-ICL を ICL タスクに適用するための理論的解析法を提案する。
• 参考スコア（独自算出の注目度）: 16.80110500426294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) has emerged as an important new paradigm in natural language processing and large language model (LLM) applications. However, the theoretical understanding of the ICL mechanism remains limited. This paper aims to investigate this issue by studying a particular ICL approach, called concept-based ICL (CB-ICL). In particular, we propose theoretical analyses on applying CB-ICL to ICL tasks, which explains why and when the CB-ICL performs well for predicting query labels in prompts with only a few demonstrations. In addition, the proposed theory quantifies the knowledge that can be leveraged by the LLMs to the prompt tasks, and leads to a similarity measure between the prompt demonstrations and the query input, which provides important insights and guidance for model pre-training and prompt engineering in ICL. Moreover, the impact of the prompt demonstration size and the dimension of the LLM embeddings in ICL are also explored based on the proposed theory. Finally, several real-data experiments are conducted to validate the practical usefulness of CB-ICL and the corresponding theory.
• Abstract（参考訳）: In-Context Learning (ICL)は、自然言語処理と大規模言語モデル(LLM)アプリケーションにおいて重要な新しいパラダイムとして登場した。 しかし、ICL機構の理論的な理解は依然として限られている。 本稿では,概念ベースICL (CB-ICL) と呼ばれる,特定のICLアプローチについて検討することを目的とする。 特に,CB-ICL を ICL タスクに適用するための理論的解析法を提案する。 さらに,提案理論は,LLMが迅速なタスクに活用できる知識を定量化し,インシデントデモとクエリ入力の類似度を計測し,ICLにおけるモデル事前学習とインシデントエンジニアリングのための重要な洞察とガイダンスを提供する。 さらに, 提案理論に基づいて, ICLにおける即時実演サイズとLLM埋め込みの寸法の影響についても検討した。 最後に、CB-ICLとそれに対応する理論の実用性を検証するために、いくつかの実データ実験を行った。

関連論文リスト

• Investigating the Zone of Proximal Development of Language Models for In-Context Learning [59.91708683601029]
  大規模言語モデル(LLM)の文脈内学習(ICL)の振る舞いを分析するための学習分析フレームワークを提案する。 我々は,各例のモデル性能に基づいて,LLMのZPDを測定することにより,ZPD理論をICLに適用する。 本研究はICLの複雑な多面的動作を明らかにし,この手法の理解と活用に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2025-02-10T19:36:21Z)
• Multimodal Contrastive In-Context Learning [0.9120312014267044]
  本稿では,Large Language Models (LLMs) における勾配なしインコンテキスト学習 (ICL) の理解を高めるために,新しいマルチモーダルコントラスト型インコンテキスト学習フレームワークを提案する。 まず、実世界におけるICLの対照的な解釈を示し、ICLの差別化要因としてキー値表現の距離を示す。 第2に、実世界のデータセットに対するマルチモーダル入力フォーマットにおけるバイアスに対処する分析フレームワークを開発する。 第3に、ヘイトフルミームの検出の有効性を示すICLのオンザフライアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-23T10:10:01Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Let's Learn Step by Step: Enhancing In-Context Learning Ability with Curriculum Learning [9.660673938961416]
  実証オーダリングは、文脈内学習(ICL)にとって重要な戦略である In-Context Curriculum Learning (ICCL) と呼ばれるICLの簡易かつ効果的な実演順序付け手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T14:55:33Z)
• A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
  大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。 本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T18:10:02Z)
• In-Context Exemplars as Clues to Retrieving from Large Associative Memory [1.2952137350423816]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。 文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。 本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
  論文  参考訳（メタデータ） (2023-11-06T20:13:29Z)
• A Survey on In-context Learning [77.78614055956365]
  In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。