論文の概要: Neural Lineage
- arxiv url: http://arxiv.org/abs/2406.11129v1
- Date: Mon, 17 Jun 2024 01:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 18:53:41.095017
- Title: Neural Lineage
- Title（参考訳）: 神経系
- Authors: Runpeng Yu, Xinchao Wang,
- Abstract要約: 本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。
実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。
精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
- 参考スコア（独自算出の注目度）: 56.34149480207817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a well-behaved neural network, is possible to identify its parent, based on which it was tuned? In this paper, we introduce a novel task known as neural lineage detection, aiming at discovering lineage relationships between parent and child models. Specifically, from a set of parent models, neural lineage detection predicts which parent model a child model has been fine-tuned from. We propose two approaches to address this task. (1) For practical convenience, we introduce a learning-free approach, which integrates an approximation of the finetuning process into the neural network representation similarity metrics, leading to a similarity-based lineage detection scheme. (2) For the pursuit of accuracy, we introduce a learning-based lineage detector comprising encoders and a transformer detector. Through experimentation, we have validated that our proposed learning-free and learning-based methods outperform the baseline in various learning settings and are adaptable to a variety of visual models. Moreover, they also exhibit the ability to trace cross-generational lineage, identifying not only parent models but also their ancestors.
- Abstract（参考訳）: ニューラルネットワークが十分に機能しているとすれば、その親を、そのチューニングに基づいて特定することは可能だろうか?
本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。
具体的には、一組の親モデルから、神経系統検出は、子モデルからどの親モデルが微調整されたかを予測する。
この課題に対処するための2つのアプローチを提案する。
1) 実用上, 微調整過程の近似をニューラルネットワーク表現類似度指標に統合した学習自由アプローチを導入し, 類似性に基づく系統検出手法を提案する。
2) 精度の追求のために, エンコーダと変圧器検出器を組み合わせた学習系系統検出装置を導入する。
実験を通じて,提案手法が学習環境におけるベースラインよりも優れており,様々な視覚モデルに適応可能であることを検証した。
さらに、親モデルだけでなく祖先も識別し、世代間の血統を辿る能力も示している。
関連論文リスト
- Learning a Neural Association Network for Self-supervised Multi-Object Tracking [34.07776597698471]
本稿では,多目的追跡のためのデータアソシエーションを自己管理的に学習するための新しいフレームワークを提案する。
実世界のシナリオでは、オブジェクトの動きが通常マルコフプロセスで表現できるという事実により、我々は、トラッキングのための検出を関連付けるためにニューラルネットワークをトレーニングする新しい期待(EM)アルゴリズムを提案する。
我々は,挑戦的なMOT17とMOT20データセットに対するアプローチを評価し,自己教師付きトラッカーと比較して最先端の結果を得る。
論文 参考訳（メタデータ） (2024-11-18T12:22:29Z) - Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Rethinking Bayesian Learning for Data Analysis: The Art of Prior and
Inference in Sparsity-Aware Modeling [20.296566563098057]
信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。
本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
論文 参考訳（メタデータ） (2022-05-28T00:43:52Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A Distillation Learning Model of Adaptive Structural Deep Belief Network
for AffectNet: Facial Expression Image Database [0.0]
我々は,Deep Belief Network (DBN) の適応型構造学習法を開発した。
本稿では,表情画像データセットであるAffectNetに適用する。
分類精度は78.4%から91.3%に向上した。
論文 参考訳（メタデータ） (2021-10-25T08:01:36Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Similarity of Neural Networks with Gradients [8.804507286438781]
本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。
提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
論文 参考訳（メタデータ） (2020-03-25T17:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。