論文の概要: Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

• arxiv url: http://arxiv.org/abs/2502.09619v1
• Date: Thu, 13 Feb 2025 18:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:33.776477
• Title: Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights
• Title（参考訳）: このモデルは犬も認識できるのか? 体重のゼロショットモデル検索
• Authors: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen,
• Abstract要約: ProbeLogは、モデルメタデータやトレーニングデータにアクセスせずに、"Dog"のようなターゲットコンセプトを認識可能な分類モデルを取得する方法である。 本手法は,ロジットに基づく検索(このようなロジット数を増やす)とゼロショットによるテキストベースの検索(犬に対応する全ロジット数を増やす)の両方をサポートする。 ProbeLogは,実世界の検索タスクときめ細かな検索タスクの両方において高い検索精度を実現し,フルサイズのレポジトリにスケーラブルであることを示す。
• 参考スコア（独自算出の注目度）: 39.90685550999956
• License:
• Abstract: With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.
• Abstract（参考訳）: 公開モデルの増加に伴い、ユーザーが必要とするほとんどのタスクに対して、事前訓練されたオンラインモデルが存在するだろう。 しかし、現在のモデル検索手法は初歩的であり、基本的に文書中のテキストベースの検索であるため、ユーザーは関連するモデルを見つけることができない。 本稿では、モデルメタデータやトレーニングデータにアクセスせずに、"Dog"のようなターゲット概念を認識可能な分類モデルを取得する方法であるProbeLogを提案する。 従来のプローブ法とは違って、ProbeLogは、各モデルの出力次元(logit)のディスクリプタを、その応答を固定された入力(プローブ)のセットで観測することによって計算する。 本手法は,ロジットに基づく検索(このようなロジット数を増やす)とゼロショットによるテキストベースの検索(犬に対応する全ロジット数を増やす)の両方をサポートする。 探索に基づく表現では、複数のフィードフォワードをモデルに渡す必要があるため、協調フィルタリングに基づく手法を開発し、レポジトリのエンコードコストを3倍に削減する。 ProbeLogは,実世界の検索タスクときめ細かな検索タスクの両方において高い検索精度を実現し,フルサイズのレポジトリにスケーラブルであることを示す。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• CerberusDet: Unified Multi-Dataset Object Detection [0.0]
  CerberusDetは、複数のオブジェクト検出タスクを処理するために設計されたマルチヘッドモデルを持つフレームワークである。 提案されたモデルはYOLOアーキテクチャ上に構築され、バックボーンとネックコンポーネントの両方から視覚的特徴を効率的に共有する。 CerberusDetは36%の推論時間で最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-07-17T15:00:35Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Scalable Diverse Model Selection for Accessible Transfer Learning [21.194070453269592]
  既存のモデル選択と転送可能性推定手法はここでは不十分であることが判明した。 これらのアルゴリズムの性能と速度を改善するための簡単な手法を導入する。 PARCは、様々なモデル選択において、他の方法よりも優れています。
  論文  参考訳（メタデータ） (2021-11-12T22:53:28Z)
• It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
  トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。 本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
  論文  参考訳（メタデータ） (2020-10-13T22:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。