論文の概要: Differentiable Efficient Operator Search

• arxiv url: http://arxiv.org/abs/2606.05232v1
• Date: Wed, 03 Jun 2026 00:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.264154
• Title: Differentiable Efficient Operator Search
• Title（参考訳）: 微分能率演算子探索
• Authors: Xiaohuan Pei, Jiyuan Zhang, Yuanfan Guo, Weiguo Feng, Tao Huang, Cho-Jui Hsieh, Chang Xu,
• Abstract要約: Efficient Operator Searchは,トークンの格納場所,保持するトークン数,トークン情報の処理方法などを共同で検索する,差別化可能なフレームワークである。 マルチモーダルベンチマークの実験により、探索された演算子は、特に攻撃的な視覚的トーケンの低減の下で、競合する精度と効率のトレードオフを達成することが示された。
• 参考スコア（独自算出の注目度）: 61.47630462839785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient multimodal foundation models often rely on manually designed token-reduction operators, such as pruning, merging, pooling, and adaptive reweighting. Although these operators appear different, we show that they can be interpreted as distinct regimes of a shared operator space. Based on this view, we introduce Efficient Operator Search, a differentiable framework that jointly searches where to reduce tokens, how many tokens to retain, and how reduced token information should be processed. The proposed search space parameterizes layer activation, retention budget, and operator behavior, while the search policy optimizes task performance under one-sided budget and cost constraints. This formulation recovers representative hand-designed baselines as special cases and further discovers hybrid operators beyond isolated manual designs. Experiments on multimodal benchmarks show that the searched operators achieve competitive accuracy-efficiency trade-offs, especially under aggressive visual-token reduction. These results suggest that efficient multimodal inference can be reframed from manual operator design to differentiable operator search.
• Abstract（参考訳）: 効率的なマルチモーダルファンデーションモデルは、プルーニング、マージング、プーリング、アダプティブリウェイトといった手動で設計されたトークン還元演算子に依存していることが多い。 これらの作用素は異なるように見えるが、共有作用素空間の異なるレギュレーションとして解釈できることが示される。 この観点から,トークンの保管場所,保持するトークン数,トークン情報の処理方法などを共同で検索する,識別可能なフレームワークであるEfficient Operator Searchを紹介した。 提案した探索空間は, 層活性化, 保持予算, 操作者の動作をパラメータ化し, 一方の予算とコスト制約下でのタスク性能を最適化する。 この定式化は、特殊ケースとして代表的手設計のベースラインを復元し、孤立した手動設計を超えたハイブリッド演算子を更に発見する。 マルチモーダルベンチマークの実験により、探索された演算子は、特に攻撃的な視覚的トーケンの低減の下で、競合する精度と効率のトレードオフを達成することが示された。 これらの結果は、効率的なマルチモーダル推論を手動の演算子設計から微分可能な演算子探索に再構成できることを示唆している。

関連論文リスト

• One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
  本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。 SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
  論文  参考訳（メタデータ） (2025-09-29T08:54:58Z)
• Subspace-Boosted Model Merging [18.15956635793621]
  Subspace Boostingは、最大20のエキスパートモデルのマージ効率を10%以上の大きなマージンで向上させる。 本稿では,タスク類似性の定量化に高次一般化特異値分解を用いることを提案する。
  論文  参考訳（メタデータ） (2025-06-19T17:59:29Z)
• Epoch-based Application of Problem-Aware Operators in a Multiobjective Memetic Algorithm for Portfolio Optimization [0.0]
  基準制約付き投資ポートフォリオの多目的最適化のためのメメティックアルゴリズムの文脈において、インテンシフィケーション/多様性バランスの問題を考える。 我々は,これらの演算子の探索のどの段階がより良い結果をもたらすかを決定するために,感性解析を行った。 この結果から,本アルゴリズムはパラメータ化の点で非常に頑健であることが示唆された。
  論文  参考訳（メタデータ） (2024-12-05T08:57:42Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• A Two-Stage Algorithm for Cost-Efficient Multi-instance Counterfactual Explanations [2.992602379681373]
  本稿では,インスタンス群を探索し,コスト効率の高いマルチインスタンス対実説明を計算するためのフレキシブルな2段階アルゴリズムを提案する。 本稿では,提案アルゴリズムとその性能を,比較評価により評価する。
  論文  参考訳（メタデータ） (2024-03-02T14:30:57Z)
• Building an Efficiency Pipeline: Commutativity and Cumulativeness of Efficiency Operators for Transformers [68.55472265775514]
  モデルに適用した演算子として効率性を考える。 本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
  論文  参考訳（メタデータ） (2022-07-31T18:01:06Z)
• Principled Design of Translation, Scale, and Rotation Invariant Variation Operators for Metaheuristics [24.062774394718662]
  本稿では,探索空間に依存しない新しい演算子を自動設計し,異なる問題に対して堅牢な性能を示すことを目的とする。 導出型汎用形式に基づく高性能演算子を探索する演算子の自動設計のための原理的手法を提案する。 実験の結果,提案手法により生成した演算子は,複雑な景観や最大1000個の決定変数に関する様々な問題において,最先端の演算よりも優れていた。
  論文  参考訳（メタデータ） (2021-05-22T07:27:14Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• OpEvo: An Evolutionary Method for Tensor Operator Optimization [6.273446055072434]
  テンソル作用素の探索空間を効率的に探索する新しい進化的手法OpEvoを提案する。 総合的な実験結果から,OpEvoは最も分散度が低く,試行回数や壁面時間も最小限に設定できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T05:33:33Z)
• Multi-layer local optima networks for the analysis of advanced local search-based algorithms [0.6299766708197881]
  ローカルオプティマスネットワーク(Local Optima Network, LON)は、特定の近傍演算子と局所探索アルゴリズムに基づいて、特定の最適化問題のフィットネスランドスケープを圧縮するグラフモデルである。 本稿では、多層LONの概念と、フィットネスランドスケープ分析のためのメトリクス抽出を目的としたこれらのモデルを探索するための方法論を提案する。
  論文  参考訳（メタデータ） (2020-04-29T03:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。