論文の概要: RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging

• arxiv url: http://arxiv.org/abs/2508.01784v1
• Date: Sun, 03 Aug 2025 14:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 20:32:48.71577
• Title: RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging
• Title（参考訳）: RouteMark: ルーティングベースのモデルマージにおける知的財産属性のためのフィンガープリント
• Authors: Xin He, Junxi Shen, Zhenheng Tang, Xiaowen Chu, Bo Li, Ivor W. Tsang, Yew-Soon Ong,
• Abstract要約: 我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 69.2230254959204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging via Mixture-of-Experts (MoE) has emerged as a scalable solution for consolidating multiple task-specific models into a unified sparse architecture, where each expert is derived from a model fine-tuned on a distinct task. While effective for multi-task integration, this paradigm introduces a critical yet underexplored challenge: how to attribute and protect the intellectual property (IP) of individual experts after merging. We propose RouteMark, a framework for IP protection in merged MoE models through the design of expert routing fingerprints. Our key insight is that task-specific experts exhibit stable and distinctive routing behaviors under probing inputs. To capture these patterns, we construct expert-level fingerprints using two complementary statistics: the Routing Score Fingerprint (RSF), quantifying the intensity of expert activation, and the Routing Preference Fingerprint (RPF), characterizing the input distribution that preferentially activates each expert. These fingerprints are reproducible, task-discriminative, and lightweight to construct. For attribution and tampering detection, we introduce a similarity-based matching algorithm that compares expert fingerprints between a suspect and a reference (victim) model. Extensive experiments across diverse tasks and CLIP-based MoE architectures show that RouteMark consistently yields high similarity for reused experts and clear separation from unrelated ones. Moreover, it remains robust against both structural tampering (expert replacement, addition, deletion) and parametric tampering (fine-tuning, pruning, permutation), outperforming weight- and activation-based baseliness. Our work lays the foundation for RouteMark as a practical and broadly applicable framework for IP verification in MoE-based model merging.
• Abstract（参考訳）: Mixture-of-Experts (MoE)によるモデルマージは、複数のタスク固有のモデルを統一されたスパースアーキテクチャに統合するためのスケーラブルなソリューションとして登場した。 マルチタスク統合に有効であるが、このパラダイムは、マージ後の個々の専門家の知的財産(IP)をどう属性し、保護するかという、重要で未解明の課題を提起する。 我々は、専門家のルーティング指紋の設計を通じて、統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 これらのパターンを捉えるために,ルールスコアフィンガープリント (RSF, Routing Score Fingerprint) と,各専門家を優先的に活性化する入力分布を特徴付けるルーティング優先フィンガープリント (RPF, Routing Preference Fingerprint) という2つの相補的な統計データを用いて,専門家レベルの指紋を構築する。 これらの指紋は再現可能で、タスク識別可能で、構築も軽量です。 帰属と改ざん検出のために,被疑者と参照(被害者)モデルの間で専門家の指紋を比較する類似性に基づくマッチングアルゴリズムを導入する。 多様なタスクとCLIPベースのMoEアーキテクチャにわたる大規模な実験は、RouteMarkが再利用された専門家に対して一貫して高い類似性を示し、無関係な専門家から明確に分離していることを示している。 さらに、構造的改ざん(専門的な置き換え、追加、削除)とパラメトリック改ざん(微細チューニング、プルーニング、置換)の両方に対して頑健であり、重量ベースラインとアクティベーションベースラインを上回っている。 我々の研究は、MoEベースのモデル統合におけるIP検証の実践的で広く適用可能なフレームワークとして、RouteMarkの基礎を築いた。

関連論文リスト

• PanMatch: Unleashing the Potential of Large Vision Models for Unified Matching Models [80.65273820998875]
  頑健な対応マッチングのための汎用基盤モデルであるPanMatchを提案する。 我々の重要な洞察は、任意の2フレーム対応タスクが2次元変位推定フレームワーク内で処理可能であることである。 PanMatchは、偏差推定アルゴリズムを前例のない一般化能力で実現し、マルチタスク統合を実現する。
  論文  参考訳（メタデータ） (2025-07-11T08:18:52Z)
• Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts [6.091286069993439]
  SIMoEは、高密度トレーニング済みのLarge Language Model(LLM)をMoEスタイルのモデルに微調整するために設計されたエンドツーエンドのアルゴリズムである。 命令チューニング中、SIMoEは指定された空間制約の下で複数の専門専門家を自動的に識別する。
  論文  参考訳（メタデータ） (2025-06-14T18:34:38Z)
• Comparative Analysis of AI Agent Architectures for Entity Relationship Classification [1.6887793771613606]
  本研究では,3つの異なるAIエージェントアーキテクチャの比較分析を行い,関係分類を行う。 エージェントアーキテクチャは,(1)反射的自己評価,(2)階層的タスク分解,(3)新しいマルチエージェント動的サンプル生成機構を含む。 実験により,マルチエージェントの協調が標準のショットプロンプトより一貫して優れていることが実証された。
  論文  参考訳（メタデータ） (2025-06-03T04:19:47Z)
• Mixture of Experts Provably Detect and Learn the Latent Cluster Structure in Gradient-Based Learning [33.342433025421926]
  MoEは、バニラルータを備えた特殊なモデルのアンサンブルで、各入力を適切な専門家に動的に配布する。 我々は,各専門家が個々のクラスタに対応するより単純な関数を弱めに回復する能力を活用して,この問題をより簡単なサブプロブレムに分割することに成功していることを示す。
  論文  参考訳（メタデータ） (2025-06-02T13:26:44Z)
• Enhancing CTR Prediction with De-correlated Expert Networks [53.05653547330796]
  本稿では,専門的相関を最小化するクロスエキスパートデコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・ D-MoEの有効性とデコリレーション原理を検証するために大規模な実験が行われた。
  論文  参考訳（メタデータ） (2025-05-23T14:04:38Z)
• Improving Routing in Sparse Mixture of Experts with Graph of Tokens [32.46693871593765]
  確率的グラフィカルモデル(PGM)の観点からSMOE(Sparse Mixture of Experts)の限界を明らかにする。 本稿では,専門家選択時のトークン間の相互作用を考慮した新しい類似性認識(S)MoEを提案する。 我々は、様々なタスクやドメインでモデルを実証的に検証し、ルーティングのゆらぎを低減するための大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-05-01T18:44:20Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts [33.39800923804871]
  我々は、フレキシブルなルーティング戦略を持つ拡散変圧器のための新しいMoEモデルであるRace-DiT、Expert Raceを紹介する。 トークンとエキスパートが競争し、上位候補を選択することによって、モデルはエキスパートをクリティカルトークンに動的に割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2025-03-20T11:45:08Z)
• Deep Content Understanding Toward Entity and Aspect Target Sentiment Analysis on Foundation Models [0.8602553195689513]
  Entity-Aspect Sentiment Triplet extract (EASTE)は、Aspect-Based Sentiment Analysisタスクである。 本研究は,EASTEタスクにおける高性能化を目標とし,モデルサイズ,タイプ,適応技術がタスクパフォーマンスに与える影響について検討する。 最終的には、複雑な感情分析における詳細な洞察と最先端の成果を提供する。
  論文  参考訳（メタデータ） (2024-07-04T16:48:14Z)
• A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
  一般的な類似性に基づく機能アップサンプリングパイプラインが提案されている。 本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。 我々は,モーザイクアーティファクトを緩和する上ではシンプルだが有効であるHR特徴に対して,きめ細かな近傍選択戦略を開発する。
  論文  参考訳（メタデータ） (2024-07-02T14:12:21Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。