論文の概要: Activation-Based Active Learning for In-Context Learning: Challenges and Insights

• arxiv url: http://arxiv.org/abs/2606.05134v1
• Date: Wed, 03 Jun 2026 17:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.935149
• Title: Activation-Based Active Learning for In-Context Learning: Challenges and Insights
• Title（参考訳）: インコンテキスト学習のためのアクティベーションベースのアクティブラーニング - 課題と展望
• Authors: Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton,
• Abstract要約: 本稿では,モデルアクティベーションが,文脈内サンプルの選択を最適化するための微細な信号を与えることができるという仮説を検証した。 In-context Learning に適用された,アクティベーションに基づく深層能動学習手法の包括的解析について述べる。
• 参考スコア（独自算出の注目度）: 4.090991964172345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep active learning has previously been explored for LLM in-context sample selection, but not with methods that utilise recent advances in understanding of transformer activations. In this paper, we test the hypothesis that model activations could provide a fine-grained signal to optimise the selection of in-context examples. We present the most comprehensive analysis to date of MLP activation-based deep active learning methods applied to in-context learning, including how different attention masking strategies impact active learning across diverse classification and generative datasets, using both Llama-3.2-3B and Qwen2.5-3B base models. However, we find a negative result: MLP outputs, viewed through the lenses of massive activations or the first four moments, do not correlate with example quality or task performance. Specifically, the absolute Spearman correlation coefficient is at most 0.33 for all tasks and models we tested, showing that such activation-based sampling should not be used for in-context learning. We hypothesise that this may be due to superposition, whereby models represent more features than they have dimensionality, suggesting that methods like Sparse Autoencoders (SAEs) may be a promising future direction.
• Abstract（参考訳）: 深層能動学習はLLMのインコンテキストサンプル選択のために研究されてきたが、近年のトランスフォーマーアクティベーションの理解の進歩を生かした手法はない。 本稿では,モデルアクティベーションが,文脈内サンプルの選択を最適化するための微細な信号を与えることができるという仮説を検証した。 Llama-3.2-3BベースモデルとQwen2.5-3Bベースモデルを用いて、多種多様な分類および生成データセットにわたるアクティブラーニングに異なる注目マスキング戦略がどう影響するかを考察する。 しかし、MLP出力は、大規模なアクティベーションのレンズを通して見ることができ、最初の4モーメントは、例えば品質やタスクのパフォーマンスと相関しない。 具体的には、絶対スピアマン相関係数は、テストしたすべてのタスクとモデルに対して少なくとも0.33であり、このようなアクティベーションベースのサンプリングは、文脈内学習には使用すべきでないことを示す。 モデルが次元よりも多くの特徴を表現し、スパースオートエンコーダ(SAE)のような手法が将来有望な方向であることを示唆する。

関連論文リスト

• Cumulative Meta-Learning from Active Learning Queries for Robustness to Spurious Correlations [2.3234871809423585]
  Cumulative Active Meta-Learning(CAML)は、クエリ済みのサンプルを使用して、事前または帰納的バイアスをメタ学習し、モデルがどのように適応するかを管理する、アクティブラーニングフレームワークである。 また,CAMLは,スプリアス相関ベンチマークや買収戦略を用いて,マイノリティーグループ精度を向上することを示した。
  論文  参考訳（メタデータ） (2026-05-20T06:14:12Z)
• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability [25.96556671801114]
  本稿では,大規模言語モデル(LLM)の逐次推論能力を評価する新しいベンチマークであるAQA-Benchを紹介する。 AQA-Benchを2進探索,深さ優先探索,幅優先探索という3つのアルゴリズムで構築し,14種類のLLMの逐次推論能力を評価する。
  論文  参考訳（メタデータ） (2024-02-14T18:59:33Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage [3.4806267677524896]
  ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。 擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。 提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T01:43:47Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。