論文の概要: Unsupervised Model Tree Heritage Recovery

• arxiv url: http://arxiv.org/abs/2405.18432v2
• Date: Tue, 15 Apr 2025 08:53:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 14:12:43.236131
• Title: Unsupervised Model Tree Heritage Recovery
• Title（参考訳）: 非教師なしモデル木遺産復元
• Authors: Eliahu Horwitz, Asaf Shul, Yedid Hoshen,
• Abstract要約: ニューラルネットワーク収集のための教師なしモデルツリー遺産復元の課題について紹介する。 我々の仮説では、モデルウェイトがこの情報を符号化し、ウェイトを考慮すれば、基盤となるツリー構造をデコードすることが課題である。 実験により,本手法が複雑なモデルツリーの再構成に成功していることを示す。
• 参考スコア（独自算出の注目度）: 39.08927346274156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The number of models shared online has recently skyrocketed, with over one million public models available on Hugging Face. Sharing models allows other users to build on existing models, using them as initialization for fine-tuning, improving accuracy, and saving compute and energy. However, it also raises important intellectual property issues, as fine-tuning may violate the license terms of the original model or that of its training data. A Model Tree, i.e., a tree data structure rooted at a foundation model and having directed edges between a parent model and other models directly fine-tuned from it (children), would settle such disputes by making the model heritage explicit. Unfortunately, current models are not well documented, with most model metadata (e.g., "model cards") not providing accurate information about heritage. In this paper, we introduce the task of Unsupervised Model Tree Heritage Recovery (Unsupervised MoTHer Recovery) for collections of neural networks. For each pair of models, this task requires: i) determining if they are directly related, and ii) establishing the direction of the relationship. Our hypothesis is that model weights encode this information, the challenge is to decode the underlying tree structure given the weights. We discover several properties of model weights that allow us to perform this task. By using these properties, we formulate the MoTHer Recovery task as finding a directed minimal spanning tree. In extensive experiments we demonstrate that our method successfully reconstructs complex Model Trees.
• Abstract（参考訳）: オンライン上で共有されるモデルの数は、最近急増しており、Hugging Face上では100万以上のパブリックモデルが利用可能だ。 モデルを共有することで、他のユーザが既存のモデル上に構築し、微調整、精度の向上、計算とエネルギーの節約に使用することができる。 しかし、ファインチューニングはオリジナルのモデルやトレーニングデータのライセンス規約に違反している可能性があるため、重要な知的財産問題も提起する。 モデルツリー(Model Tree)、すなわち、基礎モデルに根ざし、親モデルとそれから直接微調整された他のモデル(子供)の間に方向付けされたエッジを持つツリーデータ構造は、モデル遺産を明確にすることで、このような論争を解決する。 残念なことに、現在のモデルは十分に文書化されておらず、ほとんどのモデルメタデータ(例:「モデルカード」)は、遺産に関する正確な情報を提供していません。 本稿では,ニューラルネットワークの収集のための教師なしモデルツリー復元(教師なしモデルツリー復元)の課題について紹介する。 それぞれのモデルに対して、このタスクは以下のようになる。 一 直接関係があるか否か、及び 二 関係の方向性を確立すること。 我々の仮説では、モデルウェイトがこの情報を符号化し、ウェイトを考慮すれば、基盤となるツリー構造をデコードすることが課題である。 このタスクを実行できるモデルウェイトの性質をいくつか発見する。 これらの特性を利用することで、MoTHerRecoveryタスクを最小限のスパンニングツリーの方向付けとして定式化する。 実験により,本手法が複雑なモデルツリーの再構成に成功していることを示す。

関連論文リスト

• Representing Model Weights with Language using Tree Experts [39.90685550999956]
  本稿では,モデル重みと言語の両方を組み込んだ共同空間内のモデルを表現することを学ぶ。 Probing Experts (ProbeX) は理論的に動機づけられた軽量な探査手法である。 以上の結果から, ProbeX は大規模モデルの重みを共有重み付き埋め込み空間に効果的にマッピングできることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:17:09Z)
• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• Generative Forests [23.554594285885273]
  私たちは、表データという最も一般的な形式のデータのうちの1つを表わすデータのための生成AIに焦点を合わせています。 本稿では,このような課題に適合する森林モデルの新しい強力なクラスと,強力な収束保証を備えた簡単なトレーニングアルゴリズムを提案する。 これらのタスクに関する追加実験により、我々のモデルは、多種多様な技術手法に対する優れた競争相手になり得ることが判明した。
  論文  参考訳（メタデータ） (2023-08-07T14:58:53Z)
• Model Provenance via Model DNA [23.885185988451667]
  本稿では,機械学習モデルの特徴を表現した新しいモデルDNAについて紹介する。 本研究では,対象モデルの事前学習モデルであるかどうかを識別できるモデル証明同定のための効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-08-04T03:46:41Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• DeepTree: Modeling Trees with Situated Latents [8.372189962601073]
  そこで本研究では,木を手作業で定義するのではなく,分岐構造に対する発達規則を学習する手法を提案する。 我々は、その振る舞いが本質的な状態によって決定されるため、潜伏状態にあるディープニューラルモデル(deep Neural model)と呼ぶ。 本手法では,複雑なパラメータを定義することなく,多様な木形を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:14Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Robust estimation of tree structured models [0.0]
  ノイズの多い二分データから、可能な木の小さな等価クラスまで、木を復元できることが示される。 また、Chow-Liuアルゴリズムがノイズデータから根本木を継続的に学習する際の特徴付けも提供する。
  論文  参考訳（メタデータ） (2021-02-10T14:58:40Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• Attentive Tree-structured Network for Monotonicity Reasoning [2.4366811507669124]
  単調性推論のための木構造ニューラルネットワークを開発した。 推論タスクの文対から構文解析木情報をモデル化するように設計されている。 前提と仮説の表現を整列するために、自己注意集約器が使用される。
  論文  参考訳（メタデータ） (2021-01-03T01:29:48Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Learnable Boundary Guided Adversarial Training [66.57846365425598]
  私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。 我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-11-23T01:36:05Z)
• Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data [12.069862650316262]
  木構造データから構造知識を符号化する2つの新しい集約関数を導入する。 2つの木分類タスクでテストを行い、木外度が増加する場合に提案したモデルの利点を示す。
  論文  参考訳（メタデータ） (2020-06-18T15:40:32Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。