論文の概要: Self-Supervised Learning for Ordered Three-Dimensional Structures

• arxiv url: http://arxiv.org/abs/2411.14680v1
• Date: Fri, 22 Nov 2024 02:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 18:36:38.523322
• Title: Self-Supervised Learning for Ordered Three-Dimensional Structures
• Title（参考訳）: 順序付き3次元構造の自己教師付き学習
• Authors: Matthew Spellings, Maya Martirossyan, Julia Dshemuchadse,
• Abstract要約: 近年の研究では、自己教師型タスクで大規模言語モデルをトレーニングし、それらのモデルを微調整して、トランスファーラーニング環境で新しいタスクを完了させることが強力なアイデアであることが証明されている。 本研究では,秩序な3次元構造の大規模研究に適した幾何的タスクの集合を定式化する。 我々は、幾何学的代数に基づく深部回転・置換同変ニューラルネットワークを構築し、これらを用いて、理想化された3次元構造とシミュレートされた3次元構造の両方においてこれらの課題を解決する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent work has proven that training large language models with self-supervised tasks and fine-tuning these models to complete new tasks in a transfer learning setting is a powerful idea, enabling the creation of models with many parameters, even with little labeled data; however, the number of domains that have harnessed these advancements has been limited. In this work, we formulate a set of geometric tasks suitable for the large-scale study of ordered three-dimensional structures, without requiring any human intervention in data labeling. We build deep rotation- and permutation-equivariant neural networks based on geometric algebra and use them to solve these tasks on both idealized and simulated three-dimensional structures. Quantifying order in complex-structured assemblies remains a long-standing challenge in materials physics; these models can elucidate the behavior of real self-assembling systems in a variety of ways, from distilling insights from learned tasks without further modification to solving new tasks with smaller amounts of labeled data via transfer learning.
• Abstract（参考訳）: 近年の研究では、自己教師型タスクで大規模言語モデルをトレーニングし、これらのモデルを転写学習環境で新しいタスクを完了させる微調整は強力なアイデアであることが証明されており、ラベル付きデータが少ない場合でも、多くのパラメータを持つモデルを作成することができるが、これらの進歩を利用したドメインの数は限られている。 本研究では,データラベリングに人間の介入を必要とせず,大規模3次元構造の研究に適した幾何的タスクの集合を定式化する。 我々は、幾何学的代数に基づく深部回転・置換同変ニューラルネットワークを構築し、これらを用いて、理想化された3次元構造とシミュレートされた3次元構造の両方においてこれらの課題を解決する。 これらのモデルは、学習したタスクから洞察を抽出することから、転送学習を通じて少ないラベル付きデータで新しいタスクを解くことまで、実際の自己組織化システムの振る舞いを様々な方法で解明することができる。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models [65.82630283336051]
  拡散生成モデルの既存のトレーニングスキームにより,次元と属性の組み合わせによって区切られた空間が十分に標本化されていないことを示す。 構造を完全に活用するプロセスを構築し,ComboStocという名前でこの問題に対処する。
  論文  参考訳（メタデータ） (2024-05-22T15:23:10Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)
• Generalization to New Sequential Decision Making Tasks with In-Context Learning [23.36106067650874]
  少数のデモから新しいタスクを学習できる自律エージェントの訓練は、機械学習における長年の問題である。 本稿では,変換器を逐次決定問題に適用しても,新しいタスクの文脈内学習は不可能であることを示す。 我々は、異なる設計選択を調査し、より大きなモデルとデータセットサイズ、さらにタスクの多様性、環境、トラジェクトリのバーストネスが、新しいアウト・オブ・ディストリビューションタスクのコンテキスト内学習の改善をもたらすことを発見した。
  論文  参考訳（メタデータ） (2023-12-06T15:19:28Z)
• A Meta-Learning Approach to Population-Based Modelling of Structures [0.0]
  構造力学における機械学習アプローチの大きな問題は、構造データの頻繁な欠如である。 この研究は、人口ベースの構造的健康モニタリングの分野に着想を得て、人口内で知識を伝達できるモデルを作成しようとしている。 メタラーニングアプローチを用いて訓練されたモデルは、人口構造に関する推論に関する従来の機械学習手法より優れている。
  論文  参考訳（メタデータ） (2023-02-15T23:01:59Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Quantifying Adaptability in Pre-trained Language Models with 500 Tasks [60.0364822929442]
  本稿では,新しいベンチマークであるTaskBench500を用いて,LM適応性の特徴と限界に関する大規模な実証的研究を行う。 我々は適応性の3つの側面を評価し、適応手順が小さなデータセットを記憶する能力において劇的に異なることを発見した。 実験の結果、新しいタスクへの適応性、例えば新しい例への一般化は体系的に記述され、理解されることがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:00:25Z)
• Differentiable Architecture Pruning for Transfer Learning [6.935731409563879]
  本研究では,与えられた大規模モデルからサブアーキテクチャを抽出するための勾配に基づくアプローチを提案する。 我々のアーキテクチャ・プルーニング・スキームは、異なるタスクを解くために再訓練を成功させることができるトランスファー可能な新しい構造を生成する。 理論的収束保証を提供し、実データ上で提案した伝達学習戦略を検証する。
  論文  参考訳（メタデータ） (2021-07-07T17:44:59Z)
• ATOM3D: Tasks On Molecules in Three Dimensions [91.72138447636769]
  近年、深層ニューラルネットワークが注目されている。 本稿では,生物分子のいくつかの重要なクラスにまたがる新しいデータセットと既存のデータセットのコレクションであるATOM3Dを紹介する。 これらのタスクごとに3次元の分子学習ネットワークを開発し、パフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2020-12-07T20:18:23Z)
• Few-Shot Single-View 3-D Object Reconstruction with Compositional Priors [30.262308825799167]
  複雑なエンコーダ・デコーダアーキテクチャは、標準ベンチマークにおいて、最寄りのベースラインと同様に動作することを示す。 本稿では,3次元再構成モデルに事前クラスを効率的に統合する3つの手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T04:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。