論文の概要: SAP: Syntactic Attention Pruning for Transformer-based Language Models

• arxiv url: http://arxiv.org/abs/2512.19125v1
• Date: Mon, 22 Dec 2025 08:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.665649
• Title: SAP: Syntactic Attention Pruning for Transformer-based Language Models
• Title（参考訳）: SAP: トランスフォーマーに基づく言語モデルのための構文的注意喚起
• Authors: Tzu-Yun Lee, Ding-Yong Hong, Jan-Jan Wu,
• Abstract要約: 本稿では,トランスフォーマーモデルにおいて,アテンションヘッドを効果的に刈り取る新しい手法であるSAP(Syntactic Attention Pruning)を提案する。 モデルウェイトとアクティベーションの数学的解析にのみ依存する従来のアプローチとは異なり、SAPは構文構造と文の注意パターンの両方を取り入れてプルーニングプロセスを導く。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces Syntactic Attention Pruning (SAP), a novel method for effectively pruning attention heads in Transformer models. Unlike conventional approaches that rely solely on mathematical analysis of model weights and activations, SAP incorporates both the syntactic structure and attention patterns of sentences to guide the pruning process. By leveraging these linguistic features, SAP not only achieves performance comparable to state-of-the-art methods but also enhances the interpretability of model behavior. To further improve robustness, we propose Candidate Filtering (CF), a mechanism that prioritizes heads based on their contribution to model performance, mitigating degradation during pruning. Experimental results indicate that SAP effectively preserves critical heads of a high density of strong attention values, outperforming existing head pruning strategies in retrain-free settings. These findings position SAP as a promising foundation for a new direction in model compression research, offering high flexibility for pruning across all transformer-based language models.
• Abstract（参考訳）: 本稿では,トランスフォーマーモデルにおいて,アテンションヘッドを効果的に刈り取る新しい手法であるSAP(Syntactic Attention Pruning)を提案する。 モデルウェイトとアクティベーションの数学的解析にのみ依存する従来のアプローチとは異なり、SAPは構文構造と文の注意パターンの両方を取り入れてプルーニングプロセスを導く。 これらの言語的特徴を活用することで、SAPは最先端の手法に匹敵する性能を達成するだけでなく、モデルの振る舞いの解釈可能性を高める。 さらにロバスト性を向上させるために,モデル性能への貢献に基づいて頭部を優先する機構であるCandidate Filtering (CF)を提案する。 実験結果から,SAPは強い注意値の高密度な臨界頭部を効果的に保存し,リトレインフリー環境での既存の頭部刈り取り戦略より優れていたことが示唆された。 これらの結果から,SAPはモデル圧縮研究における新たな方向性の基盤として期待でき,すべてのトランスフォーマーベース言語モデルに対して高い柔軟性を提供する。

関連論文リスト

• Autoformalizer with Tool Feedback [52.334957386319864]
  自動形式化は、数学的問題を自然言語から形式的ステートメントに変換することによって、ATP(Automated Theorem Proving)のデータ不足に対処する。 既存のフォーミュラライザは、構文的妥当性とセマンティック一貫性を満たす有効なステートメントを一貫して生成することに苦慮している。 本稿では,ツールフィードバックを用いたオートフォーマライザ (ATF) を提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:25:12Z)
• TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making [75.29820290660065]
  本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。 モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。 ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
  論文  参考訳（メタデータ） (2025-09-10T11:16:21Z)
• Toward Efficient Spiking Transformers: Synapse Pruning Meets Synergistic Learning-Based Compensation [12.571308607235062]
  Transformerは最近、様々なタスクで有望なパフォーマンスを持つニューラルネットワークに適応している。 既存のスパイキングトランスフォーマー(ST)ベースのモデルは、かなりの数のパラメータと高い計算コストを必要とする。 本稿では, シナプスプルーニングと相乗的学習に基づく補償戦略を組み合わせることで, 軽量STベースモデルを導出することを提案する。
  論文  参考訳（メタデータ） (2025-08-04T02:19:38Z)
• SHAP-Guided Regularization in Machine Learning Models [1.0515439489916734]
  本稿では,特徴量制約をモデルトレーニングに組み込んだSHAP誘導正規化フレームワークを提案する。 提案手法は, アントロピーに基づくペナルティを応用し, スパース, 集中した特徴属性の促進と, 試料間の安定性の促進を図った。
  論文  参考訳（メタデータ） (2025-07-31T15:45:38Z)
• Improved Methods for Model Pruning and Knowledge Distillation [3.8993503758122663]
  MAMAプルーニング(MAMA Pruning)は、R1やo3-miniのような大規模言語モデルのパフォーマンス最適化手法である。 モデルのサイズと計算の複雑さを効果的に減らし、極端なプルーニングレベルでも元の未実行モデルに匹敵する性能を維持しながら維持する。 予備的な実験結果から,本手法は様々なプルーニングレベルおよび下流の計算言語タスクにおいて,最先端の手法に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-05-20T07:53:40Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
  ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。 モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T12:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。