論文の概要: The Alchemy of Thought: Understanding In-Context Learning Through Supervised Classification

• arxiv url: http://arxiv.org/abs/2601.01290v1
• Date: Sat, 03 Jan 2026 21:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.169568
• Title: The Alchemy of Thought: Understanding In-Context Learning Through Supervised Classification
• Title（参考訳）: 思考の錬金術 : 教師付き分類による文脈学習の理解
• Authors: Harshita Narnoli, Mihai Surdeanu,
• Abstract要約: 本稿では,インコンテキスト学習の動作とICLの実演で訓練された教師付き分類器との比較を行う。 実演の関連性が高い場合, LLM はこれらの分類器と同様に振る舞う。
• 参考スコア（独自算出の注目度）: 19.524454103388553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) has become a prominent paradigm to rapidly customize LLMs to new tasks without fine-tuning. However, despite the empirical evidence of its usefulness, we still do not truly understand how ICL works. In this paper, we compare the behavior of in-context learning with supervised classifiers trained on ICL demonstrations to investigate three research questions: (1) Do LLMs with ICL behave similarly to classifiers trained on the same examples? (2) If so, which classifiers are closer, those based on gradient descent (GD) or those based on k-nearest neighbors (kNN)? (3) When they do not behave similarly, what conditions are associated with differences in behavior? Using text classification as a use case, with six datasets and three LLMs, we observe that LLMs behave similarly to these classifiers when the relevance of demonstrations is high. On average, ICL is closer to kNN than logistic regression, giving empirical evidence that the attention mechanism behaves more similarly to kNN than GD. However, when demonstration relevance is low, LLMs perform better than these classifiers, likely because LLMs can back off to their parametric memory, a luxury these classifiers do not have.
• Abstract（参考訳）: In-context Learning (ICL) は、微調整なしでLLMを新しいタスクに迅速にカスタマイズするための重要なパラダイムとなっている。 しかし、その有用性の実証的な証拠にもかかわらず、ICLがどのように機能するかはいまだよく分かっていない。 本稿では,ICLの実演で訓練された教師付き分類器とインコンテキスト学習の動作を比較して,(1)ICLを用いたLLMは,同じ事例で訓練された分類器と同じような振る舞いをするのか,という3つの研究課題について考察する。 2)どの分類器が近いか、勾配降下(GD)に基づくか、k-nearest neighbors(kNN)に基づくか。 (3)同じように振る舞わない場合、どのような条件が行動の違いと関連しているか。 6つのデータセットと3つのLCMを持つユースケースとしてテキスト分類を用いると、実演の関連性が高い場合、LLMはこれらの分類器と同様に振る舞う。 平均して、ICLはロジスティック回帰よりもkNNに近いので、注意機構がGDよりもkNNによく似ているという実証的な証拠を与える。 しかし、デモの妥当性が低い場合、LLMはこれらの分類器よりも性能が良い。

関連論文リスト

• In a Few Words: Comparing Weak Supervision and LLMs for Short Query Intent Classification [4.037445459586932]
  ユーザ意図の分類を,情報カテゴリ,ナビゲーションカテゴリ,トランザクションカテゴリに経験的に比較する。 以上の結果から,LSMはリコール時の監督能力が劣る一方で,精度の低下に悩まされ続けていることが示唆された。
  論文  参考訳（メタデータ） (2025-04-30T07:54:04Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。