論文の概要: SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization

• arxiv url: http://arxiv.org/abs/2606.24259v1
• Date: Tue, 23 Jun 2026 07:47:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.830636
• Title: SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization
• Title（参考訳）: SURGELLM:クラスベース正規化によるタスク認識機能ゲーティングによるマルチタスク評価の再考
• Authors: Noor Islam S. Mohammad, Ulug Bayazit,
• Abstract要約: 不均一なNLPタスクに展開される微調整エンコーダは、3つの複合的な問題に直面している。 textbfsurgellmは、専用の軽量モジュールでそれぞれに対処する統合トランスフォーマーフレームワークである。
• 参考スコア（独自算出の注目度）: 0.21485350418225238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuned encoders deployed across heterogeneous NLP tasks face three compounding problems: mismatched inductive biases, class-imbalance corruption of feature statistics, and no mechanism to condition attention on external lexical knowledge. We introduce \textbf{\surgellm}, a unified transformer framework that addresses each with a dedicated lightweight module: a \emph{surgical feature gate} (learned per-dimension sigmoid over curated lexical indicators and \texttt{[CLS]}; provably degenerates to identity when features are uninformative), \emph{task-conditioned prefix tokens} (quantized feature values and task identity prepended to every input), and \emph{Instance-Weighted Normalization} (IWN; removes class-prior bias from gate statistics). We prove an excess-risk bound linking gate benefit to \emph{surgical feature alignment}. Across four tasks, SST-2, multi-hop retrieval, LLM-prompt attribution, and authorship detection, covering 17,830 examples and eleven model variants over three seeds, the IWN variant achieves macro-F1 \textbf{0.940} ($+0.036$ over the strongest non-IWN baseline; $+0.130$ on authorship detection). A random-vocabulary control ($-0.028$ avg.\ F1) confirms gains are lexical, not parametric. Code, vocabularies, and a $99.5\%$-recovery auto-extraction recipe are released.
• Abstract（参考訳）: 不均一なNLPタスクに展開される微調整エンコーダは、3つの複合的な問題に直面している。 a \emph{surgical feature gate} (rerned per-dimension sigmoid over curated lexical indicators and \textt{[CLS]};provably degenerates to identity when features are uninformative), \emph{task-conditioned prefix tokens} (quantized feature value and task identity prepended to every input), \emph{Instance-Weighted Normalization} (IWN; removes class-prior bias from gate statistics。 余剰リスク境界結合ゲートの利点を \emph{surgical feature alignment} に証明する。 SST-2、マルチホップ検索、LLM-prompt属性、およびオーサリング検出の4つのタスクで、17,830のサンプルと11のモデルが3つの種に対してカバーされ、IWN変種はマクロ-F1 \textbf{0.940} (+0.036$) を達成する。 ランダム語彙制御(-0.028$ avg)。 F1 は利得がパラメトリックではなく語彙的であることを確認した。 コード、語彙、99.5 %$-recovery 自動抽出レシピがリリースされている。

関連論文リスト

• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents [0.0]
  自律的なAIエージェントは、完全に認証されたままで、振る舞いのドリフト、敵の適応、決定パターンのシフトによって、コードの変更なしに、安全が保たれる。 エージェントの管理は、未観測のリスクに対する限界を見積もることを減らす。 textbfRiskGateはこのフレームワークを、専用の統計推定器(KL分散、セグメント-vs-rest $z$-tests、シーケンシャルパターンマッチング)、フェイルセーフなモノトニックパイプライン、クローズドループオートパイロットでインスタンス化する。
  論文  参考訳（メタデータ） (2026-04-27T16:46:15Z)
• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Echoes as Anchors: Probabilistic Costs and Attention Refocusing in LLM Reasoning [25.852162778115808]
  大規模推論モデル(LRM)におけるテスト時間計算割り当ては広く使われ、数学的問題解決、コード合成、計画に応用されている。 本稿では,EmphEcho of Prompt (EOP) を前装式計算整形機構として用いて,モデルが再帰する傾向を分析し,活用する。
  論文  参考訳（メタデータ） (2026-02-06T10:53:26Z)
• Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
  このモデルは、$M$armと$K$playで構成されている。 各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。 複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
  論文  参考訳（メタデータ） (2025-12-25T11:19:09Z)
• From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models [81.43473418572567]
  CTR(Click-Through Rate)予測は、レコメンデーションシステムにおける中核的なタスクである。 本稿では,埋め込み次元の崩壊と情報冗長性に対処する新しい生成フレームワークを提案する。 SFGは埋没崩壊を緩和し,情報冗長性を低減し,性能向上を図っている。
  論文  参考訳（メタデータ） (2025-12-16T03:17:18Z)
• UCB-type Algorithm for Budget-Constrained Expert Learning [71.67657715154034]
  algnameM-LCBはUCBスタイルのメタアルゴリズムであり、幻想的後悔の保証を提供する 我々は、AlgnameM-LCBが、限られたリソースの下で、ステートフルで自己学習の専門家をコーディネートする、より現実的なシナリオまで、古典的な帯域幅パラダイムをどのように拡張しているかを示す。
  論文  参考訳（メタデータ） (2025-10-26T12:36:17Z)
• Grokking and Generalization Collapse: Insights from \texttt{HTSR} theory [4.371245698184159]
  MNISTの1kサンプルサブセットをトレーニングした3層構造を用いて,ニューラルネットワーク(NN)のグルーキング現象について検討した。 我々は、訓練の非常に遅くに起こる新しい第3段階(エンファンティ・グロッキング)を発見し、よく知られたエンファンティ・グロキングフェーズとは異なる。
  論文  参考訳（メタデータ） (2025-06-04T20:34:37Z)
• Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
  我々は$f$-divergence-regularized offline policy learningを分析する。 逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。 これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
  論文  参考訳（メタデータ） (2025-02-09T22:14:45Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。