論文の概要: Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.00064v1
• Date: Sun, 30 Aug 2026 14:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.807726
• Title: Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
• Title（参考訳）: 注意感は十分ではない:微調整による意識レベルと行動内学習の解離
• Abstract要約: コンテキスト内学習では、大規模な言語モデルがデモから新しいタスクに適応する。 微調整はこの振る舞いを省くことができる。 本稿では、最適化されたプロキシをどの程度信頼できるかを問う。
• 参考スコア（独自算出の注目度）: 5.6611769062164905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) lets large language models adapt to new tasks from demonstrations, and fine-tuning can erode this behaviour. Many preservation diagnostics inspect attention: if attention changes when demonstrations change, the model is treated as context-sensitive. This paper asks how far that proxy can be trusted once it is optimised. We formalise \emph{In-Context Sensitivity} (ICS), the average row distance between last-token attention on matched and mismatched demonstration prefixes, and pair it with \emph{ICL-GAP}, the behavioural accuracy gap between the same prefixes. In a controlled four-arm ablation on Llama-2-7B, an ICS-maximising regulariser ($\armKL$) drives ICS to $1.413$, within $0.5\%$ of its geometric ceiling. The behavioural readout tells a different story: ICL-GAP stays near zero and MMLU accuracy moves from $0.371$ to $0.279$, a Goodhart dissociation of the bounded attention proxy. Endpoint statistics locate the mechanism: attention grows sharp and near-disjoint across prefixes yet routes to formatting and demonstration-body tokens rather than labels. A random-label protocol confirms that the behavioural probe family retains dynamic range at the same checkpoints. In a constructive sweep, behaviour gating partially mitigates the effect, while objectives anchored to pretrained computation hold the high-MMLU, moderate-ICS region that divergence maximisers leave. The main lesson is diagnostic: attention-level ICL proxies earn their place as training targets only after validation against behavioural gaps.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、大規模な言語モデルがデモから新しいタスクに適応することを可能にする。 多くの保存診断は注意を検査する: デモが変わると注意が変わると、モデルは文脈に敏感に扱われる。 本稿では、最適化されたプロキシをどの程度信頼できるかを問う。 一致した前置詞と一致しない前置詞に対する最後の注意点間の行距離である \emph{In-Context Sensitivity} (ICS) を定式化し, 同一接置詞間の行動精度ギャップである \emph{ICL-GAP} と組み合わせた。 Llama-2-7Bで制御された4本腕のアブレーションでは、ICSを最大化するレギュラーザ($\armKL$)が、幾何学的天井の0.5.%の範囲でICSを1413ドルまで駆動する。 ICL-GAPはゼロに近づき、MMLUの精度は0.371$から0.279$に変化します。 注意力は接頭辞をまたいで鋭くほぼ不規則に成長するが、ラベルよりもフォーマッティングやデモボディトークンへのルートは変化する。 ランダムラベルプロトコルは、動作プローブファミリーが同じチェックポイントでダイナミックレンジを保持することを確認します。 構成的なスイープでは、振る舞いゲーティングは部分的に効果を緩和する一方、事前訓練された計算に固定された目的は、発散する最大値の発散する高MMLU、中程度のICS領域を保持する。 注意レベルICLプロキシは、行動的ギャップに対する検証の後にのみ、トレーニングターゲットとしての地位を獲得する。

関連論文リスト

• Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
  本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
  論文  参考訳（メタデータ） (2026-09-01T09:08:15Z)
• Behavioral Grammar: Detecting Adaptive Malware via Tiny Language Model Priors and Second-Order Temporal Analysis [1.560152792366037]
  本稿では,ホストの動作を構造化言語として扱う検出アーキテクチャである振舞い文法について述べる。 各システムイベントは、イベントタイプ、プロセス、引数スケルトン、パスカテゴリ、親プロセス、ユーザ、宛先、イベント間タイミングにまたがる8つのトークン表現に識別される。 我々は,これらの知見を共進化経済学モデルに組み入れ,行動文法検出はルール回避から分布マッチングへ回避コストをシフトさせると主張した。
  論文  参考訳（メタデータ） (2026-08-01T16:28:38Z)
• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Process-Tensor Tomography of SGD: Measuring Non-Markovian Memory via Back-Flow of Distinguishability [1.078600700827543]
  我々は,識別可能性のオンフバックフローに基づく学習記憶のモデルに依存しない簡易な目撃者を構築した。 高い運動量下での増幅, よりマイクロステップで, 厳密なブートストラップ信頼区間による一貫した正の逆流を観察した。 我々はこれを、実用的なSGDがマルコフの理想化から逸脱する、原則化された診断および実証的な証拠として位置付ける。
  論文  参考訳（メタデータ） (2026-01-23T09:03:25Z)
• Few Shot Semi-Supervised Learning for Abnormal Stop Detection from Sparse GPS Trajectories [9.895353254067894]
  都市間交通における異常な停止検知は、乗客の安全、運転の信頼性、規制の遵守を保証するために重要である。 既存の方法は、しばしば密度の高いサンプリングや規則的な動きパターンを仮定し、適用性を制限する。 本研究では,局所空間時間密度に基づいてセグメント境界を適応的に定義するスパーシティ・アウェア (SAS) 手法を提案する。
  論文  参考訳（メタデータ） (2025-10-14T16:22:34Z)
• Federated Spatiotemporal Graph Learning for Passive Attack Detection in Smart Grids [2.721477719641864]
  本稿では,時間的ウィンドウ上で物理層と行動指標を融合させて受動的攻撃を検出するグラフ中心型マルチモーダル検出器を提案する。 テスト精度は98.32%、シーケンス毎の93.35%を0.15% FPRで達成している。
  論文  参考訳（メタデータ） (2025-09-29T08:52:30Z)
• RMSL: Weakly-Supervised Insider Threat Detection with Robust Multi-sphere Learning [23.547623771406187]
  インサイダー脅威検出は、ユーザインタラクションを記録するログを分析することによって、悪意のあるユーザの振る舞いを特定することを目的としている。 教師なしの手法は、正常な行動と異常な行動のあいまいさにより、高い偽陽性率とミス率に直面している。 本稿では,行動レベルの異常の検出能力を高めるために,ロバスト多球学習(RMSL)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-15T13:36:03Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Pretraining Without Attention [114.99187017618408]
  本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。 BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
  論文  参考訳（メタデータ） (2022-12-20T18:50:08Z)
• Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
  視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。 我々のモデルは最先端の代替品を著しく上回っている。 我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-17T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。