論文の概要: DiagrammaticLearning: A Graphical Language for Compositional Training Regimes

• arxiv url: http://arxiv.org/abs/2501.01515v1
• Date: Thu, 02 Jan 2025 19:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:12:01.420120
• Title: DiagrammaticLearning: A Graphical Language for Compositional Training Regimes
• Title（参考訳）: DiagrammaticLearning: 作曲学習レジームのためのグラフィカル言語
• Authors: Mason Lary, Richard Samuelson, Alexander Wilentz, Alina Zare, Matthew Klawonn, James P. Fairbanks,
• Abstract要約: 学習図は、コンポーネントモデルがトレーニングされたユニークな損失関数にコンパイルされる。 一般的な学習環境を学習ダイアグラムとして表現できることを示す。
• 参考スコア（独自算出の注目度）: 39.26058251942536
• License:
• Abstract: Motivated by deep learning regimes with multiple interacting yet distinct model components, we introduce learning diagrams, graphical depictions of training setups that capture parameterized learning as data rather than code. A learning diagram compiles to a unique loss function on which component models are trained. The result of training on this loss is a collection of models whose predictions ``agree" with one another. We show that a number of popular learning setups such as few-shot multi-task learning, knowledge distillation, and multi-modal learning can be depicted as learning diagrams. We further implement learning diagrams in a library that allows users to build diagrams of PyTorch and Flux.jl models. By implementing some classic machine learning use cases, we demonstrate how learning diagrams allow practitioners to build complicated models as compositions of smaller components, identify relationships between workflows, and manipulate models during or after training. Leveraging a category theoretic framework, we introduce a rigorous semantics for learning diagrams that puts such operations on a firm mathematical foundation.
• Abstract（参考訳）: 複数の相互作用する異なるモデルコンポーネントを持つ深層学習体制をモチベーションとし、コードではなくパラメータ化された学習をデータとして捉えた学習図、トレーニング設定のグラフィカルな描写を導入する。 学習図は、コンポーネントモデルがトレーニングされたユニークな損失関数にコンパイルされる。 この損失に対するトレーニングの結果は,‘agree’と‘agree’を相互に予測するモデルの集合である。 本稿では, マルチタスク学習, 知識蒸留, マルチモーダル学習など, 多様な学習環境を学習ダイアグラムとして表現できることを示す。 PyTorchモデルとFlux.jlモデルのダイアグラムをユーザが構築できるライブラリで学習ダイアグラムをさらに実装します。 古典的な機械学習のユースケースを実装することで、実践者がより小さなコンポーネントの合成として複雑なモデルを構築し、ワークフロー間の関係を識別し、トレーニング中またはトレーニング後にモデルを操作できるようにする。 カテゴリ理論の枠組みを活用することで、そのような操作をしっかりとした数学的基礎の上に配置するダイアグラムを学習するための厳密な意味論を導入する。

関連論文リスト

• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• Class-level Structural Relation Modelling and Smoothing for Visual Representation Learning [12.247343963572732]
  本稿では、視覚表現学習のためのbfクラスレベルの構造関係モデリングと平滑化というフレームワークを提案する。 クラスレベルの関係モデリング、クラス対応グラフガイドサンプリング、グラフガイド表現学習モジュールが含まれる。 実験では、構造化知識モデリングによる表現学習の有効性を実証し、CSRMSを任意の最先端の視覚的表現学習モデルに組み込むことにより、パフォーマンス向上を図っている。
  論文  参考訳（メタデータ） (2023-08-08T09:03:46Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• An Algebraic Framework for Stock & Flow Diagrams and Dynamical Systems Using Category Theory [2.030738254233949]
  この章では、基礎となる数学に焦点をあてるのではなく、StockFlow.jlの実装したソフトウェアによって作成されたコミュニケーション可能な病気の例を非公式に使用します。 まず、分類的ストック・フロー・ダイアグラムを特徴付け、ストック・フロー・ダイアグラムの構文とそれらのセマンティクスを明確に区別する。 カテゴリ理論を適用することで、これらのフレームワークはモジュール化された方法で小さな図から大きな図を作成することができる。
  論文  参考訳（メタデータ） (2022-11-01T16:15:54Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Flexible model composition in machine learning and its implementation in MLJ [1.1091975655053545]
  機械学習モデルをメタモデルに組み合わせた「学習ネットワーク」と呼ばれるグラフベースのプロトコルについて述べる。 学習ネットワークはwolpertのモデル積み重ねを含むのに十分柔軟であり,ベース学習者に対してサンプル外の予測を行うことが示されている。
  論文  参考訳（メタデータ） (2020-12-31T08:49:43Z)
• Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
  人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。 本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。 sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
  論文  参考訳（メタデータ） (2020-12-23T05:56:47Z)
• Towards Interpretable Multi-Task Learning Using Bilevel Programming [18.293397644865454]
  解釈可能なマルチタスク学習は、学習したモデルの予測性能に基づいて、タスク関係のスパースグラフを学習するものとして表現することができる。 一般化性能を犠牲にすることなく、学習したモデルの解釈性や、合成データと実データとの関係を実証的に改善する方法を示す。
  論文  参考訳（メタデータ） (2020-09-11T15:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。