論文の概要: Semantic Anchors in In-Context Learning: Why Small LLMs Cannot Flip Their Labels

• arxiv url: http://arxiv.org/abs/2511.21038v1
• Date: Wed, 26 Nov 2025 04:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.959887
• Title: Semantic Anchors in In-Context Learning: Why Small LLMs Cannot Flip Their Labels
• Title（参考訳）: 文脈内学習におけるセマンティックアンカー : 小さなLLMがラベルをフリップできない理由
• Authors: Anantha Padmanaban Krishna Kumar,
• Abstract要約: コンテキスト内学習は、事前訓練されたラベルセマンティクスをオーバーライドすることができるが、単に既存のセマンティクスバックボーンを洗練するだけなのか? ICLの動作を3つのアライメント指標(真実、事前、即時アライメント)に分解し、フリップしたセマンティックスの下で正当性として定義されたセマンティックオーバーライド率を導入する。 分類タスクやオープンソース LLM のセマンティックアンカービューに対する一貫した証拠を見出す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can in-context learning (ICL) override pre-trained label semantics, or does it merely refine an existing semantic backbone? We address this question by treating LLMs as prompt-induced classifiers and contrasting their behavior under \emph{natural} demonstrations (with correct labels) and \emph{inverted} demonstrations (systematically flipping label meanings). We decompose ICL behavior into three alignment metrics (truth, prior, and prompt alignment) and introduce a semantic override rate, defined as correctness under flipped semantics. Across eight classification tasks and eight open-source LLMs (1--12B parameters), we find consistent evidence for a semantic anchor view. With natural demonstrations, ICL improves accuracy while maintaining strong prior alignment; most correct predictions coincide with zero-shot behavior, even when the prior is weak. With inverted demonstrations, models cannot learn coherent anti-semantic classifiers: prompt alignment increases only by sacrificing accuracy, and semantic override rates remain exactly zero in our few-shot 1--12B setting. Rather than flexibly remapping label meanings, ICL primarily adjusts how inputs project onto stable semantic directions learned during pre-training, clarifying fundamental limits of few-shot prompting and suggesting that overriding label semantics at these scales requires interventions beyond ICL. All code is available at: https://github.com/AnanthaPadmanaban-KrishnaKumar/semantic-anchors-icl.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、事前訓練されたラベルセマンティクスをオーバーライドできるのか、それとも単に既存のセマンティクスバックボーンを洗練させるだけなのか? 本稿では, LLM をプロンプト誘導型分類器として扱い, それらの動作を (正しいラベルを持つ) \emph{natural} 実演と \emph{inverted} 実演(システム的にラベルの意味を反転させる)で対比することで, この問題に対処する。 ICLの動作を3つのアライメント指標(真実、事前、即時アライメント)に分解し、フリップしたセマンティックスの下で正当性として定義されたセマンティックオーバーライド率を導入する。 8つの分類タスクと8つのオープンソース LLM (1--12B パラメータ) にまたがって、セマンティックアンカービューの一貫性のある証拠を見出す。 自然なデモンストレーションでは、ICLは強い事前アライメントを維持しながら精度を向上させる。 Inverted demonstrationsでは、モデルはコヒーレントなアンチセマンティックな分類法を学べず、即列アライメントは精度を犠牲にしてのみ増加し、セマンティックオーバライドレートは、我々の数ショット1--12B設定で完全にゼロのままである。 ラベルの意味を柔軟に書き換えるのではなく、ICLはプロジェクトの入力を事前学習中に学んだ安定した意味的な方向にどのように調整するかを考慮し、数発のプロンプトの基本的な限界を明確にし、これらのスケールでのラベルの意味をオーバーライドするにはICL以上の介入が必要であることを示唆している。 すべてのコードは、https://github.com/AnanthaPadmanaban-KrishnaKumar/semantic-anchors-iclで入手できる。

関連論文リスト

• Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
  正対と負対を定義するために「連続的意味的類似性」の概念を導入する。 弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。 我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
  論文  参考訳（メタデータ） (2025-05-28T06:50:40Z)
• InfoNCE is a Free Lunch for Semantically guided Graph Contrastive Learning [60.61079931266331]
  グラフコントラスト学習(GCL)は、グラフ基盤モデルやLLMの研究の急増において、グラフのエンハンサーとして重要な役割を担っている。 従来のGCLでは、自己監督タスクの定義に拡張を使用し、強化ペアを正のサンプルとして、その他のものを負のサンプルとして扱う。 本稿では,GCLは基本的に,自己教師型タスクの定義を意味的に導くべき,肯定的非ラベル付き学習問題である,と論じる。
  論文  参考訳（メタデータ） (2025-05-07T05:27:36Z)
• Rectifying Demonstration Shortcut in In-Context Learning [15.08431909212102]
  大規模言語モデル(LLM)は、ICL(In-context Learning)能力を利用したいくつかのデモで、様々なタスクを解くことができる。 LLMは、ICL予測を進めるために、インプット-ラベル関係よりも、事前に訓練されたデモのセマンティック先行に頼っていることが多い。
  論文  参考訳（メタデータ） (2024-03-14T15:30:14Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• Larger language models do in-context learning differently [93.90674531127559]
  言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。 ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
  論文  参考訳（メタデータ） (2023-03-07T12:24:17Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。