論文の概要: SKIM: Pruning Large Language Model Agents via Selective Knowledge Informed Masking

• arxiv url: http://arxiv.org/abs/2611.07558v1
• Date: Thu, 05 Nov 2026 07:04:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.578108
• Title: SKIM: Pruning Large Language Model Agents via Selective Knowledge Informed Masking
• Title（参考訳）: SKIM:選択的知識インフォームドマスキングによる大規模言語モデルエージェントの実行
• Abstract要約: SKIMは大規模言語モデル (LLM) エージェントの構造化生成における最初の刈り込み蒸留フレームワークである。 SKIMはトークンの位置をコンテキスト、決定、フォーマットのカテゴリに分割し、このパーティションは2つの補完的な軸を駆動する。 ツールコールベンチマークおよびマルチステップエージェントループにおけるSKIMを、複数のモデルスケールとスパーシティレベルにわたって評価する。
• 参考スコア（独自算出の注目度）: 29.549561367966117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) agents are increasingly deployed under structured generation, where grammar constraints enforce output format at inference time. Whereas existing compression methods target unconstrained generation, we first identify a fundamental mismatch: under structured generation, grammar constraints reduce the model's output distribution to valid tokens, and the logits matter most at the small set of positions that decide the agent's action. Motivated by this finding, we propose SKIM (Selective Knowledge-Informed Masking), the first pruning and distillation framework for LLM agents under structured generation, with both stages guided by token role. SKIM partitions token positions into context, decision, and format categories, and this partition drives two complementary axes: (1) category-aware pruning saliency scores that preserve parameters most relevant for decision positions; and (2) an on-policy distillation objective that aligns student and teacher on valid tokens, paired with category-aware feature matching. We evaluate SKIM on tool-calling benchmarks and within multi-step agent loops, across multiple model scales and sparsity levels. SKIM consistently improves accuracy over baselines, with its superiority becoming most striking in high-sparsity regimes where conventional methods struggle, demonstrating the potential of category-aware compression for deployment-time grammar-constrained agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、文法制約が推論時に出力フォーマットを強制する構造化世代の下で、ますますデプロイされる。 既存の圧縮手法が制約のない生成をターゲットにしているのに対して、我々はまず、構造化された生成の下で、文法制約によりモデルの出力分布を有効なトークンに還元し、ロジットはエージェントの動作を決定する小さな位置において最も重要となる、基本的なミスマッチを識別する。 この発見を動機として, トークンの役割によって誘導される, LLM エージェントの第一のプルーニング・蒸留フレームワークである SKIM (Selective Knowledge-Informed Masking) を提案する。 SKIM はトークンの位置を文脈,決定,フォーマットのカテゴリに分割し,(1) 決定位置に最も関係のあるパラメータを保存するカテゴリ対応プルーニングサリエンシスコア,(2) 学生と教師を有効なトークンに整合させるオンライン蒸留目標,の2つの相補的軸を駆動する。 ツールコールベンチマークおよびマルチステップエージェントループにおけるSKIMを、複数のモデルスケールとスパーシティレベルにわたって評価する。 SKIMはベースラインよりも精度を一貫して改善し、従来の手法が苦戦する高分離性体制においてその優位性が最も顕著となり、展開時文法制約エージェントに対するカテゴリ認識圧縮の可能性を示している。

関連論文リスト

• Generate-then-Rank: Learning Symbolic Goal Interpretation for Embodied Agents [1.2232326171442904]
  EAI(Embodied Agent Interface)におけるゴール解釈のための2段階生成ランクアプローチを提案する。 まず、教師付き微調整は、EAIの出力規約に大規模言語モデルを適用する。 第2に、CORE(Candidate-Output Ranking from Errors)は、モデルが生成した代替品の完全なアウトプットよりも好みを学習する。
  論文  参考訳（メタデータ） (2026-11-05T11:05:53Z)
• The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models [0.0]
  マスク可能性指数(英: Maskability Index、MI)は、マスキングスタイルのプロンプトやプレフィックススタイルのプロンプトに、知識関係が適しているかどうかを数世代で推定する指標である。 MIは、事前訓練された言語モデルから関係知識を抽出するためのテンプレートと適応戦略を適切に選択するのに役立つ。
  論文  参考訳（メタデータ） (2026-07-22T15:19:23Z)
• From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment [12.134587575174633]
  本稿では,ルーブリックに基づくスコアリングの文レベルの解釈可能性に関する一般的な枠組みを提案する。 以上の結果から,SHAPはルーブリックに基づくスコアリングに対して,より忠実で伝達可能な説明を提供する。
  論文  参考訳（メタデータ） (2026-04-18T14:27:51Z)
• Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs [1.2891210250935148]
  本稿では,Large Language Models (LLM) を用いた自動スキル分解について検討する。 我々のフレームワークは、パイプラインをプロンプトと生成から正規化とオントロジーノードとのアライメントまで標準化する。 出力を評価するために、コンテンツ精度を評価するために最適な埋め込みベースのマッチングを使用するF1スコアと、粒度を評価するために構造的に正しい配置を信用する階層型F1スコアの2つの指標を導入する。
  論文  参考訳（メタデータ） (2025-10-13T12:03:06Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
  プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。 CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。 CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
  論文  参考訳（メタデータ） (2025-05-01T08:27:14Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。