論文の概要: Mechanism of Task-oriented Information Removal in In-context Learning

• arxiv url: http://arxiv.org/abs/2509.21012v1
• Date: Thu, 25 Sep 2025 11:18:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.862359
• Title: Mechanism of Task-oriented Information Removal in In-context Learning
• Title（参考訳）: インコンテキスト学習におけるタスク指向情報除去のメカニズム
• Authors: Hakaze Cho, Haolin Yang, Gouki Minegishi, Naoya Inoue,
• Abstract要約: In-context Learning (ICL) は、現代の言語モデル(LM)に基づく、新たな数発学習パラダイムである。 本稿では,情報除去の新たな視点を通して,そのメカニズムを考察する。 低ランクフィルタにより隠蔽状態から特定の情報を選択的に除去し,LMを目的のタスクに向けて効果的に操ることがわかった。
• 参考スコア（独自算出の注目度）: 8.252694387739226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context Learning (ICL) is an emerging few-shot learning paradigm based on modern Language Models (LMs), yet its inner mechanism remains unclear. In this paper, we investigate the mechanism through a novel perspective of information removal. Specifically, we demonstrate that in the zero-shot scenario, LMs encode queries into non-selective representations in hidden states containing information for all possible tasks, leading to arbitrary outputs without focusing on the intended task, resulting in near-zero accuracy. Meanwhile, we find that selectively removing specific information from hidden states by a low-rank filter effectively steers LMs toward the intended task. Building on these findings, by measuring the hidden states on carefully designed metrics, we observe that few-shot ICL effectively simulates such task-oriented information removal processes, selectively removing the redundant information from entangled non-selective representations, and improving the output based on the demonstrations, which constitutes a key mechanism underlying ICL. Moreover, we identify essential attention heads inducing the removal operation, termed Denoising Heads, which enables the ablation experiments blocking the information removal operation from the inference, where the ICL accuracy significantly degrades, especially when the correct label is absent from the few-shot demonstrations, confirming both the critical role of the information removal mechanism and denoising heads.
• Abstract（参考訳）: In-context Learning (ICL) は、現代の言語モデル(LM)に基づく、新たな数発学習パラダイムである。 本稿では,情報除去の新たな視点を通して,そのメカニズムを考察する。 具体的には、ゼロショットシナリオにおいて、LMは、全てのタスクに関する情報を含む隠蔽状態の非選択的表現にクエリをエンコードし、任意の出力を意図したタスクに集中せずに達成し、ほぼゼロの精度をもたらすことを示した。 一方、低ランクフィルタにより隠蔽状態から特定の情報を選択的に除去することで、LMを目的のタスクに向けて効果的に操ることがわかった。 これらの結果に基づき、慎重に設計されたメトリクスの隠れ状態を測定することにより、少数ショットIGCがこのようなタスク指向情報削除プロセスを効果的にシミュレートし、絡み合った非選択表現から冗長情報を選択的に除去し、ICLの基盤となる重要なメカニズムであるデモに基づいて出力を改善することを観察する。 さらに,インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーションにおいて,インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーションから情報・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション(Inference Inference) をブロックした。

関連論文リスト

• Improving Causal Interventions in Amnesic Probing with Mean Projection or LEACE [4.151073288078749]
  アムネシック・プローブ(アムネシック・プローブ)は、特定の言語情報がモデルに与える影響を調べるために用いられる技法である。 関連する情報を特定して取り除き、主要なタスクにおけるモデルのパフォーマンスが変化したかどうかを評価する。 イテレーティブ・ヌルスペース・プロジェクション(INLP, Iterative Nullspace Projection)は,対象情報を削除する際に,表現にランダムな修正を導入する手法である。 提案する2つの代替手段である平均射影(MP)とLEACEは、より標的的な方法で情報を除去し、行動説明を得る可能性を高めることを実証する。
  論文  参考訳（メタデータ） (2025-06-13T11:07:14Z)
• Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
  CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる 我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。 デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:46:33Z)
• Extracting Unlearned Information from LLMs with Activation Steering [46.16882599881247]
  トレーニング後のモデルからセンシティブな知識を取り除くソリューションとして、アンラーニングが登場した。 本研究では,未学習モデルからの正確な情報検索手法として,アクティベーションステアリングを提案する。 その結果,未学習モデルからの正確な情報検索が可能であることが示され,現在の未学習手法の深刻な脆弱性が浮き彫りにされている。
  論文  参考訳（メタデータ） (2024-11-04T21:42:56Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。