論文の概要: MechSparse: Mechanism-Guided Sparse PEFT Selection Is Task-Shaped
- arxiv url: http://arxiv.org/abs/2609.18961v1
- Date: Thu, 16 Jul 2026 09:49:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.581507
- Title: MechSparse: Mechanism-Guided Sparse PEFT Selection Is Task-Shaped
- Title（参考訳）: MechSparse:メカニズムガイド付きスパースPEFT選択はタスク整形
- Abstract要約: 機械的解釈可能性(Mechanistic Interpretability)は、特定の振る舞いを持つ頭とブロックのサブセットを特定する。
我々は、因果信号が、既に使用している安価な実践者よりも、小額のPEFT予算を効果的に配置する場所を案内できるかどうかを問う。
- 参考スコア（独自算出の注目度）: 0.6372261626436676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mechanistic interpretability identifies sparse subsets of heads and MLP blocks that carry specific behaviors. We ask whether such causal signals can guide where to place a small PEFT budget more effectively than the cheap heuristics practitioners already use. \method{} scores attention heads and MLP blocks by normalized activation-patching recovery on clean/corrupted probes and trains LoRA/QLoRA only on the selected sites; \methodc{} adds bounded credit for small within-layer joint subsets. We compare against random, magnitude, activation-norm, and gradient/Fisher on Ministral-8B/NF4 in three cells: Swahili span-JSON information extraction (IE) at $b{=}0.25\%$ and $1.0\%$, and English$\to$Swahili machine translation (MT) at $b{=}1.0\%$. The causal selectors never win the primary metric. On the headline IE cell (3 seeds, paired-bootstrap CIs over $600$ predictions), \methodc{} beats random by $+0.079$ span+type F1 and gradient/Fisher by $+0.174$, but trails activation-norm by $0.028$, with the smallest cross-seed std ($\pm 0.003$). On MT all four selectors lie within $0.30$ BLEU and every paired CI includes zero. A schema-versus-span decomposition explains the IE gap: activation-norm captures the rigid JSON routine, while causal scores track content-sensitive sites. We distill a preliminary diagnostic -- prefer activation-norm when output structure dominates, treat causal selectors as a hypothesis for content-dominated tasks -- and release masks, scores, predictions, and evaluation files for direct replay.
- Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、特定の振る舞いを持つ頭とMLPブロックのスパース部分集合を識別する。
このような因果シグナルが、既に使用している安価なヒューリスティックス実践者よりも、小さなPEFT予算を効果的に配置する方法を導くことができるかどうかを問う。
\method{} は、クリーン/破損したプローブとLoRA/QLoRA を訓練する上で、正常化されたアクティベーションパッチによるアテンションヘッドと MLP ブロックをスコア付けする; \methodc{} は、小さな層内結合部分集合に対して有界クレジットを追加する。
我々は,Ministral-8B/NF4のランダム,マグニチュード,アクティベーションノルム,勾配/フィッシャーを3つのセルで比較した。Swahili span-JSON情報抽出(IE)$b{=}0.25\%$,$1.0\%$,および$b{=}1.0\%$の英語$\to$Swahiliマシン翻訳(MT)$b{=}1.0\%$である。
因果セレクタはメインの指標に勝ちません。
ヘッドラインのIEセル(3シード、600ドル以上のペア付きブートストラップCI)では、 \methodc{} がランダムに$+0.079$ span+type F1、グラデーション/フィッシャーが$+0.174$、アクティベーション-ノルムが$0.028$、最小のクロスシードのstdが$\pm 0.003$である。
MTでは、4つのセレクタが0.30$ BLEU内に配置され、すべてのペアCIは0を含む。
アクティベーションノームは厳格なJSONルーチンをキャプチャし、因果スコアはコンテンツに敏感なサイトを追跡する。
出力構造が支配的な場合、アクティベーションノルムを優先し、因果セレクタをコンテンツ管理タスクの仮説として扱い、直接再生のためのマスク、スコア、予測、評価ファイルをリリースする。
関連論文リスト
- Robust Prototypical Networks for Few-Shot Sensor Fault Diagnosis [4.7664516965746335]
我々はemphMulti-Episode Prototypeal Networks (MEPN)を提案する。
MEPNは複数の不一致サポートエピソードのプロトタイプを集約し、その平均値を最終クラス代表として使用する。
実産業計測に注入された合成バイアス, ドリフト, スパイク, ノイズ障害を含む5方向断層分類を用いたDeFACTOセンサデータセット上でのMEPNの評価を行った。
論文 参考訳（メタデータ） (2026-09-10T23:36:05Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic [16.151531550259993]
大規模言語モデル(LLM)はホストAPIを通じてますますデプロイされ、モデルの抽出がモデルのオーナシップとサービスのセキュリティに対する現実的な脅威となる。
我々は、良性キャリブレーションされた交通窓分布試験としてモデル抽出監視を定式化する。
入力クエリをセマンティック空間に埋め込み、それらの集合分布が過去の良性トラフィックから逸脱するかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-04T05:33:49Z) - The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。
CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
論文 参考訳（メタデータ） (2026-06-02T08:22:14Z) - What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。
我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。
3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文 参考訳（メタデータ） (2026-05-12T01:57:53Z) - Attributing Emergence in Million-Agent Systems [68.53670424791751]
大規模言語モデル(LLM)は、個々のエージェントにおける人間のような推論と意思決定をシミュレートすることができる。
このような研究は、個々のエージェントにマクロな出現をもたらす必要がある。
Aumann--Shapley path-integral attribution to LLM-powered MAS at million-agent scale。
論文 参考訳（メタデータ） (2026-05-12T01:49:41Z) - Prediction Bottlenecks Don't Discover Causal Structure (But Here's What They Actually Do) [11.664243197168403]
次のステップの予測のためにのみ訓練されたMamba状態空間モデルは、単純な読み出しによってGranger-Causal構造を復元しているように見える。
我々は、再利用可能なファルシフィケーションベンチマークとしてそのクレームをテストするために使用されるプロトコルをパッケージ化し、そのクレームを5段階に分けた。
ベンチマークは持続するアーティファクトであり、上の各ステージはそのコントロールアームの1つです。
論文 参考訳（メタデータ） (2026-05-09T21:12:55Z) - Measuring the Unmeasurable: Markov Chain Reliability for LLM Agents [0.7161783472741748]
エージェントの実行トレースをMarkovチェーンに適合させる再現可能なパイプラインである textscTraceToChain を提示する。
パイプラインは自動クラスタ分類を構築し、Laplace-smoothed maximum-likelihood Estimation (MLE) による遷移を推定し、複合的なAkaike Information criterion (AIC) と Kolmogorov-Smirnov (KS) に適合する。
結果として得られたファーストパスビューは、通常別々に報告されるメトリクスを再構成する: pass$$k$, pass$k$, and the reliability decay curve (RDC) is projections of one。
論文 参考訳（メタデータ） (2026-04-27T15:05:45Z) - Reinforcement Learning from Adversarial Preferences in Tabular MDPs [62.73758165845971]
我々は,敵対的嗜好を持つエピソードマルコフ決定プロセス(MDP)の新たな枠組みを導入する。
PbMDP では、標準的なエピソード MDP とは異なり、学習者は2つの候補アーム間の好みを観察する。
我々は、既知遷移の下で、T2/3$という残差境界を達成するアルゴリズムを開発する。
論文 参考訳（メタデータ） (2025-07-15T20:19:32Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。