Fugu-MT 論文翻訳(概要): Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

論文の概要: Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

arxiv url: http://arxiv.org/abs/2607.08027v1
Date: Thu, 09 Jul 2026 01:05:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.383066
Title: Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention
Title（参考訳）: 適応的特徴保持を伴うパワートランスフォーメーションと符号保存スコアアグリゲーションによる大規模言語モデルの構造化プルーニング
Authors: Ryota Kobayashi, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Yasunori Ishii, Tomoyuki Okuno, Kazuki Kozuka,
Abstract要約: 本稿では,大規模言語モデル(LLM)のための構造化プルーニング手法を提案する。アダプティブ・フィーチャー・リテンション (Adaptive Feature Retention, AFR) を構造化プルーニングに適用する場合に3つの大きな問題が発生する。非線形分布アライメント, 符号保存スコアアグリゲーション, パーセンタイルベース外乱除去のための電力変換を組み合わせた統一的手法を提案する。
参考スコア（独自算出の注目度）: 21.22948291885822
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper proposes an improved structured pruning method for large language models (LLMs) that addresses key challenges in adapting Adaptive Feature Retention (AFR), an unstructured pruning technique, to structured pruning. When applying AFR to structured pruning, three major problems arise: distribution mismatch between heterogeneous pruning scores, loss of sign information indicating optimization direction consistency, and influence of outliers. To address these issues, we propose a unified approach combining power transformation for nonlinear distribution alignment, sign-preserving score aggregation, and percentile-based outlier removal. Experiments on Llama-3-8B, Vicuna-v1.5-13B, and LLaVA-v1.5-13B demonstrate that our method maintains accuracy comparable to unstructured pruning while achieving practical inference speedup through structured pruning.
Abstract（参考訳）: 本稿では,非構造化プルーニング手法である適応的特徴保持(AFR)を構造化プルーニングに適用する上で重要な課題に対処する,大規模言語モデル(LLM)の構造化プルーニング手法を提案する。構造化プルーニングにAFRを適用する場合、不均一プルーニングスコア間の分布ミスマッチ、最適化方向の整合性を示す符号情報の損失、およびアウトリーチの影響の3つの大きな問題が発生する。これらの問題に対処するために、非線形分布アライメント、符号保存スコアアグリゲーション、パーセンタイルベースのアウトリーチ除去のための電力変換を組み合わせた統一的なアプローチを提案する。 Llama-3-8B, Vicuna-v1.5-13B, LLaVA-v1.5-13Bを用いた実験により, 本手法は非構造化プルーニングに匹敵する精度を維持しつつ, 構造的プルーニングによる実用的な推論高速化を実現していることが示された。

関連論文リスト

Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-05-25T09:57:46Z)
Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文参考訳（メタデータ） (2026-03-10T04:07:39Z)
Adaptive Decentralized Composite Optimization via Three-Operator Splitting [8.547205551848462]
エージェントは局所的に滑らかな凸損失と非滑らかな凸拡張値項を最小化する。エージェントは,軽量なmin-consensusプロトコルと組み合わさって,局所的なバックトラック処理によってステップを適応的に調整する分散化手法を提案する。
論文参考訳（メタデータ） (2026-02-19T16:59:34Z)
Equivariant-Aware Structured Pruning for Efficient Edge Deployment: A Comprehensive Framework with Adaptive Fine-Tuning [0.0]
本稿では,グループ同変畳み込みニューラルネットワーク(G-CNN)と同変対応型構造化プルーニングを組み合わせたフレームワークを提案する。提案手法は,e2cnn層構造の解析とニューロンレベルのプルーニングを完全連結成分に適用することにより,同変特性を保っている。衛星画像 (EuroSAT) と標準ベンチマーク (CIFAR-10, Rotated MNIST) を用いて, 様々な領域で有効性を示す。
論文参考訳（メタデータ） (2025-11-21T13:41:47Z)
Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文参考訳（メタデータ） (2025-11-11T21:50:44Z)
Domain Adaptation via Feature Refinement [0.3867363075280543]
本稿では,分散シフト下での非教師付きドメイン適応のための簡易かつ効果的なフレームワークであるDAFR(Domain Adaptation via Feature Refinement)を提案する。提案手法は, ラベルなし対象データを用いたバッチ正規化統計の適応, ソース学習モデルからの特徴蒸留, 仮説伝達の3つの重要な要素を組み合わせた。
論文参考訳（メタデータ） (2025-08-22T06:32:19Z)
ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
論文参考訳（メタデータ） (2025-08-19T12:13:41Z)
Sample-aware Adaptive Structured Pruning for Large Language Models [14.605017410864583]
本研究では,大規模言語モデル(LLM)のためのサンプル対応型構造化プルーニングフレームワークであるAdaPrunerを紹介する。特に、AdaPrunerは構造化プルーニング解空間を構築して、LLMから冗長パラメータを効果的に除去する。 20%のプルーニング比で、AdaPrunerでプルーニングされたモデルは、未プルーニングモデルのパフォーマンスの97%を維持している。
論文参考訳（メタデータ） (2025-03-08T12:00:21Z)
Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
論文参考訳（メタデータ） (2022-02-27T12:52:27Z)
Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online Adaptation [87.85851771425325]
我々は、人間のメッシュ再構成モデルをドメイン外ストリーミングビデオに適用する際の新しい問題を考える。オンライン適応によってこの問題に対処し、テスト中のモデルのバイアスを徐々に修正します。動的バイレベルオンライン適応アルゴリズム(DynaBOA)を提案する。
論文参考訳（メタデータ） (2021-11-07T07:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。