論文の概要: HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.06270v1
• Date: Fri, 06 Mar 2026 13:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.795695
• Title: HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models
• Title（参考訳）: HiPP-Prune:視覚言語モデルのための階層的推論型構造化プルーニング
• Abstract要約: HiPP-Pruneは階層的な好み条件付き構造化プルーニングフレームワークであり、プルーニングを条件付きリソース割り当てとして扱う。 HiPP-Pruneは、決定を全体的なスパーシティ予算と階層的なアロケーションに分解することで、プランレベルの決定を行う。
• 参考スコア（独自算出の注目度）: 2.1418081649543157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning vision-language models (VLMs) for efficient deployment is challenging because compression can affect not only task utility but also visual grounding, often amplifying object hallucinations even at the same sparsity level. We present HiPP-Prune, a hierarchical preference-conditioned structured pruning framework that treats pruning as conditional resource allocation under multiple objectives. HiPP-Prune makes plan-level decisions: a single policy invocation outputs a global pruning blueprint by factorizing decisions into an overall sparsity budget and a layer-wise allocation, enabling queryable trade-offs via a user-specified preference vector. To account for VLM-specific failure modes, our policy state integrates a visual sensitivity signal derived from attention flow between vision tokens and language hidden states, discouraging over-pruning of vision-critical layers that facilitate cross-modal fusion. We optimize pruning plans with plan-level Group Relative Policy Optimization (GRPO) under a multi-objective return that combines task utility, hallucination robustness (POPE), compression, and a synaptic-flow-inspired stability proxy to reduce unproductive exploration in high-sparsity regimes. Experiments on LLaVA with POPE and ScienceQA demonstrate that HiPP-Prune discovers diverse non-dominated pruning plans and provides controllable robustness--utility trade-offs under matched sparsity budgets.
• Abstract（参考訳）: 視覚言語モデル(VLM)の効率的な配置は、圧縮がタスクユーティリティだけでなく視覚的接地にも影響し、同じ空間レベルでもオブジェクト幻覚を増幅する可能性があるため、困難である。 複数目的の条件付き資源割り当てとしてプルーニングを扱う階層的嗜好条件付き構造化プルーニングフレームワークであるHiPP-Pruneを提案する。 HiPP-Pruneは計画レベルの決定を行う: 単一のポリシー呼び出しは、決定を全体空間予算と階層単位のアロケーションに分解することで、グローバルプルーニングブループリントを出力し、ユーザが指定した選好ベクトルを介してクエリ可能なトレードオフを可能にする。 VLM固有の障害モードを考慮し、我々のポリシー状態は、視覚トークンと言語隠れ状態の間の注意の流れから導かれる視覚感度信号を統合する。 計画レベルのグループ相対政策最適化(GRPO)によるプランニング計画の最適化を行い,タスクユーティリティ,幻覚的ロバスト性(POPE),圧縮,シナプス・フローにインスパイアされた安定性プロキシを組み合わせた多目的リターンを行い,非生産的探索の削減を図る。 POPEとScienceQAによるLLaVAの実験では、HiPP-Pruneは多様な非支配的なプルーニング計画を発見し、制御可能な堅牢性を提供する。

関連論文リスト

• Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models [16.821897521676963]
  視覚言語モデル(VLM)は、大規模事前学習を通じて多様なマルチモーダルタスクにまたがる顕著な一般化を実現している。 本稿では,タスクとモダリティに依存しない重要性の定式化を導出する PortA と呼ばれる再学習不要な VLM 刈り取りフレームワークを提案する。 PortA は,再トレーニングを必要とせず,かつ効率的な VLM 圧縮をサポートすることなく,高い間隔で,競争力のあるダウンストリーム性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-08-07T07:36:19Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• ACPO: Counteracting Likelihood Displacement in Vision-Language Alignment with Asymmetric Constraints [26.309376587678354]
  非対称制約参照最適化(ACPO)を提案する。 ACPOは動的でターゲット指向のスケーリングを好みの最適化に適用する。 本稿では,ACPOが標準DPOの選択逆劣化を効果的に逆転させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T16:26:11Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization [58.465778756331574]
  本稿では,効果的なエージェント学習のためのPGPOと呼ばれる疑似コード型計画優先最適化手法を提案する。 2つの計画指向の報酬により、PGPOは、高品質なPコードプランを生成するLLMエージェントの能力をさらに強化する。 実験により、PGPOは代表エージェントベンチマークよりも優れた性能を示し、現在のリードベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-02T09:35:07Z)
• Reinforced Reasoning for Embodied Planning [18.40186665383579]
  身体的計画では、エージェントは動的視覚観察と自然言語の目標に基づいて、一貫性のある多段階決定を行う必要がある。 具体的計画にR1スタイルの推論強化をもたらす強化微調整フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-28T07:21:37Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
  アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。 部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。 エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
  論文  参考訳（メタデータ） (2020-09-21T09:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。