論文の概要: On the Origin of Llamas: Model Tree Heritage Recovery

• arxiv url: http://arxiv.org/abs/2405.18432v1
• Date: Tue, 28 May 2024 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:11:13.211179
• Title: On the Origin of Llamas: Model Tree Heritage Recovery
• Title（参考訳）: ラマの起源--モデル樹木遺産の復元
• Authors: Eliahu Horwitz, Asaf Shul, Yedid Hoshen,
• Abstract要約: 本稿では,ニューラルネットワークにおけるモデルツリー発見のためのモデルツリー復元(MoTHer Recovery)の課題を紹介する。 我々の仮説では、モデルウェイトがこの情報を符号化し、ウェイトを考慮すれば、基盤となるツリー構造をデコードすることが課題である。 MoTHerリカバリは、検索エンジンによるインターネットのインデックス化に似た、エキサイティングな長期的アプリケーションを提供する。
• 参考スコア（独自算出の注目度）: 39.08927346274156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of neural network models shared on the internet has made model weights an important data modality. However, this information is underutilized as the weights are uninterpretable, and publicly available models are disorganized. Inspired by Darwin's tree of life, we define the Model Tree which describes the origin of models i.e., the parent model that was used to fine-tune the target model. Similarly to the natural world, the tree structure is unknown. In this paper, we introduce the task of Model Tree Heritage Recovery (MoTHer Recovery) for discovering Model Trees in the ever-growing universe of neural networks. Our hypothesis is that model weights encode this information, the challenge is to decode the underlying tree structure given the weights. Beyond the immediate application of model authorship attribution, MoTHer recovery holds exciting long-term applications akin to indexing the internet by search engines. Practically, for each pair of models, this task requires: i) determining if they are related, and ii) establishing the direction of the relationship. We find that certain distributional properties of the weights evolve monotonically during training, which enables us to classify the relationship between two given models. MoTHer recovery reconstructs entire model hierarchies, represented by a directed tree, where a parent model gives rise to multiple child models through additional training. Our approach successfully reconstructs complex Model Trees, as well as the structure of "in-the-wild" model families such as Llama 2 and Stable Diffusion.
• Abstract（参考訳）: インターネット上で共有されるニューラルネットワークモデルの急速な成長により、モデルの重み付けは重要なデータモダリティとなった。 しかし、重みは解釈不能であり、一般に利用可能なモデルは分解されるため、この情報は利用されていない。 ダーウィンの生命のツリーにインスパイアされたモデルツリーは、モデルの起源、すなわちターゲットモデルを微調整するために使われた親モデルを記述する。 自然界と同様に、木の構造は不明。 本稿では,ニューラルネットワークの宇宙におけるモデルツリー発見のためのモデルツリー復元(MoTHer Recovery)の課題を紹介する。 我々の仮説では、モデルウェイトがこの情報を符号化し、ウェイトを考慮すれば、基盤となるツリー構造をデコードすることが課題である。 モデルオーサシップ属性の直接的な適用以外にも、MoTHerリカバリは、検索エンジンによるインターネットのインデックス化に似た、エキサイティングな長期的アプリケーションを提供している。 実際、それぞれのモデルに対して、このタスクは以下のとおりである。 一 関連があるか否か、及び 二 関係の方向性を確立すること。 トレーニング中に重みのある分布特性が単調に進化し、2つのモデル間の関係を分類できることがわかった。 MoTHerリカバリは、教師付きツリーで表されるモデル階層全体を再構築する。 提案手法は,Llama 2やStable Diffusionなどの"in-the-wild"モデルファミリーの構造だけでなく,複雑なモデルツリーの再構築に成功している。

関連論文リスト

• Representing Model Weights with Language using Tree Experts [39.90685550999956]
  本稿では,モデル重みと言語の両方を組み込んだ共同空間内のモデルを表現することを学ぶ。 Probing Experts (ProbeX) は理論的に動機づけられた軽量な探査手法である。 以上の結果から, ProbeX は大規模モデルの重みを共有重み付き埋め込み空間に効果的にマッピングできることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:17:09Z)
• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• DeepTree: Modeling Trees with Situated Latents [8.372189962601073]
  そこで本研究では,木を手作業で定義するのではなく,分岐構造に対する発達規則を学習する手法を提案する。 我々は、その振る舞いが本質的な状態によって決定されるため、潜伏状態にあるディープニューラルモデル(deep Neural model)と呼ぶ。 本手法では,複雑なパラメータを定義することなく,多様な木形を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:14Z)
• Robust estimation of tree structured models [0.0]
  ノイズの多い二分データから、可能な木の小さな等価クラスまで、木を復元できることが示される。 また、Chow-Liuアルゴリズムがノイズデータから根本木を継続的に学習する際の特徴付けも提供する。
  論文  参考訳（メタデータ） (2021-02-10T14:58:40Z)
• Attentive Tree-structured Network for Monotonicity Reasoning [2.4366811507669124]
  単調性推論のための木構造ニューラルネットワークを開発した。 推論タスクの文対から構文解析木情報をモデル化するように設計されている。 前提と仮説の表現を整列するために、自己注意集約器が使用される。
  論文  参考訳（メタデータ） (2021-01-03T01:29:48Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data [12.069862650316262]
  木構造データから構造知識を符号化する2つの新しい集約関数を導入する。 2つの木分類タスクでテストを行い、木外度が増加する場合に提案したモデルの利点を示す。
  論文  参考訳（メタデータ） (2020-06-18T15:40:32Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。