論文の概要: What Linear Probes Miss: Multi-View Probing for Weight-Space Learning

• arxiv url: http://arxiv.org/abs/2605.23410v1
• Date: Fri, 22 May 2026 09:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.281913
• Title: What Linear Probes Miss: Multi-View Probing for Weight-Space Learning
• Title（参考訳）: リニアプローブの欠如:重み空間学習のためのマルチビュープローブ
• Authors: Eunwoo Heo, Kyeongkook Seo, Jaejun Yoo,
• Abstract要約: MVProbeは、インタラクションを意識したビューで一階のシグナルを合成する、多視点のプロファイリングフレームワークである。 Model Jungleベンチマークでは、MVProbeが最先端のProbeXを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 8.474818775416637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explosive growth of open-source model repositories has created a Model Jungle, where checkpoints are frequently shared without adequate documentation or metadata. While weight-space learning offers a pathway to identify and analyze these models directly from their parameters, processing full-scale weights is computationally prohibitive. Probing-based methods have emerged as a lightweight alternative, extracting permutation-equivariant representations via learnable probe vectors. However, existing probing methods are limited by a single-view design: they capture first-order structures but fail to encode the rich, higher-order correlation patterns inherent in row-column interactions. To bridge this gap, we introduce MVProbe, a multi-perspective probing framework that synthesizes first-order signals with interaction-aware (Gram-based) views. Our approach is theoretically grounded; we analyze the scaling laws of different probing orders to derive a principled standardization and fusion strategy that ensures balanced contributions from all branches. On the Model Jungle benchmark, MVProbe consistently outperforms the state-of-the-art ProbeX across diverse architectures, including discriminative backbones (ResNet, SupViT, MAE, DINO) and large-scale generative LoRA adapters (Stable Diffusion LoRA).
• Abstract（参考訳）: オープンソースのモデルリポジトリの爆発的な成長により、十分なドキュメントやメタデータなしで、チェックポイントを頻繁に共有するModel Jungleが誕生した。 重み空間学習は、これらのモデルをパラメータから直接識別し分析するための経路を提供するが、フルスケールの重み処理は計算的に禁止されている。 探索型手法は、学習可能なプローブベクトルを介して置換同変表現を抽出し、軽量な代替手段として登場した。 それらは一階構造をキャプチャするが、行列相互作用に固有のリッチで高階相関パターンを符号化することができない。 このギャップを埋めるために、対話対応(Gramベースの)ビューで一階の信号を合成するマルチパースペクティブな探索フレームワークであるMVProbeを紹介します。 我々は、異なる探索順序のスケーリング法則を分析し、すべてのブランチからのバランスの取れたコントリビューションを保証する、原則化された標準化と融合戦略を導出する。 Model Jungleベンチマークでは、MVProbeは、差別的バックボーン(ResNet、SupViT、MAE、DINO)や大規模生成型LoRAアダプタ(Stable Diffusion LoRA)など、さまざまなアーキテクチャで、最先端のProbeXを一貫して上回っている。

関連論文リスト

• Hierarchical Inference and Closure Learning via Adaptive Surrogates for ODEs and PDEs [15.38864225184245]
  逆問題は、データに合うようにモデルを校正するタスクである。 我々は、異なるが関連する物理システムのコレクションからのデータを活用するための原則的方法論を開発する。 我々は、MLベースのクロージャモデルという形で、共有未知のダイナミクスを学習する。
  論文  参考訳（メタデータ） (2026-03-04T10:30:08Z)
• AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling [23.81351558826977]
  AdaJudgeは、表現とアグリゲーションを共同で適応する統合フレームワークである。 AdaJudgeはまず、リファインメントブロックを通じて、バックボーン表現を差別指向の空間に洗練する。 その後、静的読み込みを動的にルーティングし、エビデンスを組み合わせた適応的なマルチビュープーリングモジュールに置き換える。
  論文  参考訳（メタデータ） (2026-01-13T00:37:38Z)
• Theoretical Foundations of Scaling Law in Familial Models [46.506708373314375]
  モデルサイズ(N)とトレーニングトークン(D)とともに、基本的なスケーリング変数としてグラニュラリティ(G)を導入します。 この結果から, 極小指数の乗法則に準じる粒度ペナルティが明らかとなった。 のパラダイムを検証することで、デプロイメントの柔軟性が達成可能であることを実証しています。
  論文  参考訳（メタデータ） (2025-12-29T12:01:58Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Bilinear Convolution Decomposition for Causal RL Interpretability [0.0]
  強化学習(RL)モデルを解釈する試みは、しばしば帰属や探究のような高度な技術に依存している。 本研究では、畳み込みニューラルネットワーク(ConvNets)の非線形性を双線型変種に置き換え、これらの制限に対処可能なモデルのクラスを作成することを提案する。 モデルフリー強化学習環境では,バイリニアモデルの変形が相容れないことを示し,ProcGen環境上での並べ比較を行う。
  論文  参考訳（メタデータ） (2024-12-01T19:32:04Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。