論文の概要: On the Relationship Between the Choice of Representation and In-Context Learning

• arxiv url: http://arxiv.org/abs/2510.08372v1
• Date: Thu, 09 Oct 2025 15:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.176777
• Title: On the Relationship Between the Choice of Representation and In-Context Learning
• Title（参考訳）: 表現の選択と文脈内学習の関係について
• Authors: Ioana Marinescu, Kyunghyun Cho, Eric Karl Oermann,
• Abstract要約: In-context Learning(ICL)は、コンテキストの一部として提示されたいくつかのデモから、大きな言語モデルで新しいタスクを学習する能力である。 過去の研究では、ICLの成功の大部分は、これらの文脈内デモンストレーションの表現方法によるものだった。 ICLにおけるこれらの2つの側面の相互作用,表現と学習について検討する。
• 参考スコア（独自算出の注目度）: 38.52385081212209
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In-context learning (ICL) is the ability of a large language model (LLM) to learn a new task from a few demonstrations presented as part of the context. Past studies have attributed a large portion of the success of ICL to the way these in-context demonstrations are represented, particularly to how labels are represented in classification tasks. On the other hand, observations of the learning capacity of ICL (i.e., the extent to which more in-context demonstrations can lead to higher performance) have been mixed, and ICL is often thought to occur only under specific conditions. The interaction between these two aspects in ICL, representation and learning, has not been studied in depth until now. We hypothesize that they are largely independent of one another, such that the representation of demonstrations determines the baseline accuracy of ICL, while learning from additional demonstrations improves only on top of this baseline. We validate this hypothesis by developing an optimization algorithm that can enumerate a spectrum of possible label sets (representations) varying in semantic relevance. We then perform ICL with varying numbers of in-context demonstrations for each of these label sets. We observed that learning happens regardless of the quality of the label set itself, although its efficiency, measured by the slope of improvement over in-context demonstrations, is conditioned on both the label set quality and the parameter count of the underlying language model. Despite the emergence of learning, the relative quality (accuracy) of the choice of a label set (representation) is largely maintained throughout learning, confirming our hypothesis and implying their orthogonality. Our work reveals a previously underexplored aspect of ICL: the independent effects of learning from demonstrations and their representations on ICL performance.
• Abstract（参考訳）: In-context Learning(ICL)は、大規模言語モデル(LLM)がコンテキストの一部として提示されたいくつかのデモから新しいタスクを学習する能力である。 過去の研究では、ICLの成功の大部分は、これらのコンテキスト内デモンストレーションの表現方法、特にラベルが分類タスクでどのように表現されるかに起因している。 一方、ICLの学習能力の観察(すなわち、より文脈内でのデモンストレーションがより高いパフォーマンスをもたらす程度)は混在しており、ICCは特定の条件下でのみ発生すると考えられることが多い。 ICLにおけるこれらの2つの側面、表現と学習の相互作用は、これまで深く研究されていない。 実証の表現がICLのベースライン精度を決定する一方で、追加のデモンストレーションから学ぶことは、このベースライン上でのみ改善される、という仮説を立てる。 この仮説は,意味的関連性の異なるラベル集合(表現)のスペクトルを列挙する最適化アルゴリズムを開発することで検証する。 次に、各ラベルセットに対して、さまざまなコンテキスト内デモを行い、ICLを実行する。 学習はラベルセット自体の品質によらず起こるが、その効率は文脈内実演よりも改善の傾向によって測定され、ラベルセットの品質と基礎となる言語モデルのパラメータ数の両方で条件付けられている。 学習の出現にもかかわらず、ラベルセットの選択(表現)の相対的な品質(正確性)は、学習を通して大きく維持され、私たちの仮説を確認し、それらの直交性を示唆している。 我々の研究は、ICLの未発見の側面、つまり、実証から学ぶことによる独立的な効果と、ICLのパフォーマンスに対するその表現を明らかにする。

関連論文リスト

• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• DemoShapley: Valuation of Demonstrations for In-Context Learning [20.26604061802236]
  インコンテキスト学習(ICL)を用いた大規模言語モデル(LLM)は、タスク固有の微調整なしで多くのタスクを抽出する。 本研究では,Data ShapleyとBeta ShapleyにインスパイアされたDemoShapleyとBeta-DemoShapleyを提案する。
  論文  参考訳（メタデータ） (2024-10-10T01:35:03Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection [22.29452683679149]
  In-Context Learning(ICL)は、大規模言語モデル(LLM)をダウンストリームタスクに適用するための重要なパラダイムである。 本研究は、ICLのメカニズムを新しい視点から検討し、ICLの実証選択戦略についてより深い知見を提供する。
  論文  参考訳（メタデータ） (2023-12-12T18:05:46Z)
• Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
  インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
  論文  参考訳（メタデータ） (2023-09-14T17:48:34Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。