論文の概要: Discovering modular solutions that generalize compositionally

• arxiv url: http://arxiv.org/abs/2312.15001v2
• Date: Mon, 25 Mar 2024 17:01:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 22:13:20.038539
• Title: Discovering modular solutions that generalize compositionally
• Title（参考訳）: 構成を一般化するモジュラー解の発見
• Authors: Simon Schug, Seijin Kobayashi, Yassir Akram, Maciej Wołczyk, Alexandra Proca, Johannes von Oswald, Razvan Pascanu, João Sacramento, Angelika Steger,
• Abstract要約: 実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 55.46688816816882
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many complex tasks can be decomposed into simpler, independent parts. Discovering such underlying compositional structure has the potential to enable compositional generalization. Despite progress, our most powerful systems struggle to compose flexibly. It therefore seems natural to make models more modular to help capture the compositional nature of many tasks. However, it is unclear under which circumstances modular systems can discover hidden compositional structure. To shed light on this question, we study a teacher-student setting with a modular teacher where we have full control over the composition of ground truth modules. This allows us to relate the problem of compositional generalization to that of identification of the underlying modules. In particular we study modularity in hypernetworks representing a general class of multiplicative interactions. We show theoretically that identification up to linear transformation purely from demonstrations is possible without having to learn an exponential number of module combinations. We further demonstrate empirically that under the theoretically identified conditions, meta-learning from finite data can discover modular policies that generalize compositionally in a number of complex environments.
• Abstract（参考訳）: 多くの複雑なタスクは、単純で独立した部分に分解できる。 そのような構成構造を明らかにすることは、構成の一般化を可能にする可能性がある。 進歩にもかかわらず、我々の最も強力なシステムは柔軟に組み立てるのに苦労している。 したがって、モデルが多くのタスクの構成的性質を捉えるのに役立つようにモジュール化されることは自然に思える。 しかし、モジュラーシステムが隠れた構成構造を発見できる状況は不明確である。 そこで,本研究では,地中真理モジュールの構成を完全に制御できるモジュール型教師を用いた教師学生設定について検討する。 これにより、構成一般化の問題と、基礎となる加群を識別する問題とを関連付けることができる。 特に、乗法相互作用の一般的なクラスを表すハイパーネットワークにおけるモジュラリティについて研究する。 実演から純粋に線形変換への同定は指数関数的な加群の組み合わせを学習することなく可能であることを理論的に示す。 さらに、理論的に特定された条件下では、有限データからのメタラーニングは、多くの複雑な環境で構成を一般化するモジュラーポリシーを発見することができることを実証的に実証する。

関連論文リスト

• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Once and for all: how to compose modules -- The composition calculus [1.4372498385359374]
  技術的なフレームワークでは、相互作用にはモジュールの構成が必要です。 相互作用するモジュールからなるデジタル世界のシステムを特徴付けるために,最小限の仮定セットを提案する。 この主張は、定理、性質、加群の特殊類、ケーススタディの豊富な体によって支持される。
  論文  参考訳（メタデータ） (2024-08-27T13:01:04Z)
• Grokking Modular Polynomials [5.358878931933351]
  解析解のクラスを拡張して、多くの項でモジュラー加法とモジュラー乗法を含める。 これらのデータセットでトレーニングされた実ネットワークは、一般化(グロキング)に基づいて類似した解を学ぶことを示す。 我々は、ニューラルネットワークのトレーニングを通じて、モジュラーを学習可能で学習不可能に分類する仮説を立てる。
  論文  参考訳（メタデータ） (2024-06-05T17:59:35Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials [29.09237503747052]
  モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。 各操作でグラクされたモデル間の転送性は、特定の組み合わせに限られることを示す。 マルチタスクの混合によってコグルーキングが発生し、すべてのタスクで同時にグルーキングが発生する。
  論文  参考訳（メタデータ） (2024-02-26T16:48:12Z)
• Modularity in Deep Learning: A Survey [0.0]
  データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。 データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。 タスクのモジュール化はタスクをサブタスクに分解することを指す。 モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
  論文  参考訳（メタデータ） (2023-10-02T12:41:34Z)
• Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation [29.16040150962427]
  ニューラルネットワークの構成一般化を改善するために,動的モジュール化推論モデル MORSE を提案する。 MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。 MORSEの合成一般化能力をテストするため、2つのベンチマークで解析木の長さと形状を増大させる実験を行った。
  論文  参考訳（メタデータ） (2023-09-14T11:40:30Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers [72.04044221898059]
  ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。 表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。 統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
  論文  参考訳（メタデータ） (2022-10-20T13:39:55Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。