論文の概要: Schema for In-Context Learning

• arxiv url: http://arxiv.org/abs/2510.13905v1
• Date: Tue, 14 Oct 2025 21:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.529209
• Title: Schema for In-Context Learning
• Title（参考訳）: 文脈内学習のためのスキーマ
• Authors: Pan Chen, Shaohong Chen, Mark Wang, Shi Xuan Leong, Priscilla Fung, Varinia Bernales, Alan Aspuru-Guzik,
• Abstract要約: In-context Learning (ICL) は、実演例に条件付けすることで、言語モデルが新しいタスクに適応できるようにする。 CONTEXT(SA-ICL)におけるSCHEMAの導入 この枠組みは, 先行事例から, 推論過程に対する認知の構成要素の表現を抽出する。 SA-ICLは、単一の実演例が高品質である場合、パフォーマンスを36.19パーセントまで継続的に向上させることを示す。
• 参考スコア（独自算出の注目度）: 0.7850388075652649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) enables transformer-based language models to adapt to new tasks by conditioning on demonstration examples. However, traditional example-driven in-context learning lacks explicit modules for knowledge retrieval and transfer at the abstraction level. Inspired by cognitive science, specifically schema theory, which holds that humans interpret new information by activating pre-existing mental frameworks (schemas) to structure understanding, we introduce SCHEMA ACTIVATED IN CONTEXT LEARNING (SA-ICL). This framework extracts the representation of the building blocks of cognition for the reasoning process instilled from prior examples, creating an abstracted schema, a lightweight, structured template of key inferential steps and their relationships, which is then used to augment a model's reasoning process when presented with a novel question. We demonstrate that a broad range of large language models (LLMs) lack the capacity to form and utilize internal schema-based learning representations implicitly, but instead benefit significantly from explicit schema-based scaffolding. Across chemistry and physics questions from the GPQA dataset, our experiments show that SA-ICL consistently boosts performance, up to 36.19 percent, when the single demonstration example is of high quality, which simultaneously reduces reliance on the number of demonstrations and enhances interpretability. SCHEMA ACTIVATED IN CONTEXT LEARNING not only bridges disparate ICL strategies ranging from pattern priming to Chain-of-Thought prompting, but also paves a new path for enhancing human-like reasoning in LLMs.
• Abstract（参考訳）: In-Context Learning (ICL)は、トランスフォーマーベースの言語モデルで、実演例を条件にすることで、新しいタスクに適応することができる。 しかし、従来の例駆動型インコンテキスト学習では、抽象レベルでの知識検索と伝達のための明示的なモジュールが欠如している。 認知科学,特にスキーマ理論に触発され,人間は既存の精神枠組み(スキーマ)を活性化して構造理解を促進することによって新たな情報を解釈し,SCHEMA ACTIVated IN CONTEXT EARNING (SA-ICL)を紹介する。 このフレームワークは、事前の例から入力された推論プロセスに対する認知の構成要素の表現を抽出し、抽象スキーマ、キー推論ステップの軽量で構造化されたテンプレートとその関係を作成し、新しい質問を提示するとモデルの推論プロセスを強化するために使用される。 広い範囲の大規模言語モデル (LLM) には、内部スキーマベースの学習表現を暗黙的に形成・活用する能力が欠如していることを実証する。 GPQAデータセットからの化学および物理に関する質問に対して、実験の結果、SA-ICLは高品質の1つの実演例で、同時に実演数への依存を減らし、解釈可能性を高めることにより、パフォーマンスを最大36.19パーセント向上させることがわかった。 CONTEXTラーニングで活性化されたSCHEMAは、パターンプライミングからChain-of-ThoughtプロンプトまでのICL戦略が異なるだけでなく、LLMにおける人間ライクな推論を強化するための新たな道を開く。

関連論文リスト

• Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
  大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。 この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
  論文  参考訳（メタデータ） (2025-05-16T08:50:42Z)
• Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling [33.66383220833958]
  大規模言語モデル(LLM)は文脈学習(ICL)を示す ICLは、モデルの重みを更新することなく、コンテキストで提供される例のみを条件に新しいタスクを実行することができる。
  論文  参考訳（メタデータ） (2025-01-09T09:45:05Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• Auto-ICL: In-Context Learning without Human Supervision [93.05202223767463]
  本稿では,モデルが問題解決のための例と指示を自律的に生成できる自動文脈学習フレームワークを提案する。 さまざまなモデルやデータセットにわたる実験により、結果は、モデル生成コンテキストが人間の注釈付きコンテキストより優れていることを示している。
  論文  参考訳（メタデータ） (2023-11-15T07:37:28Z)
• In-Context Exemplars as Clues to Retrieving from Large Associative Memory [1.2952137350423816]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。 文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。 本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
  論文  参考訳（メタデータ） (2023-11-06T20:13:29Z)
• A Theory of Emergent In-Context Learning as Implicit Structure Induction [8.17811111226145]
  大きな言語モデルをスケールすると、実例からコンテキスト内で学習する能力が創発的になる。 文脈内学習は、自然言語データにみられる合成操作の組換えに依拠していると論じる。 入力の合成構造の表現によって、文脈内学習がどうサポートされるかを示す。
  論文  参考訳（メタデータ） (2023-03-14T15:24:05Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。