論文の概要: Discovering modular solutions that generalize compositionally

• arxiv url: http://arxiv.org/abs/2312.15001v1
• Date: Fri, 22 Dec 2023 16:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 20:26:03.526740
• Title: Discovering modular solutions that generalize compositionally
• Title（参考訳）: 構成を一般化するモジュラー解の発見
• Authors: Simon Schug, Seijin Kobayashi, Yassir Akram, Maciej Wo{\l}czyk, Alexandra Proca, Johannes von Oswald, Razvan Pascanu, Jo\~ao Sacramento, Angelika Steger
• Abstract要約: 実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく、ハイパーネットワークで可能であることを示す。 有限データからのメタラーニングが,モノリシックなアーキテクチャではなく,構成的に一般化されたモジュール型ソリューションをいかに発見できるかを実証する。
• 参考スコア（独自算出の注目度）: 57.55796617834165
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many complex tasks and environments can be decomposed into simpler, independent parts. Discovering such underlying compositional structure has the potential to expedite adaptation and enable compositional generalization. Despite progress, our most powerful systems struggle to compose flexibly. While most of these systems are monolithic, modularity promises to allow capturing the compositional nature of many tasks. However, it is unclear under which circumstances modular systems discover this hidden compositional structure. To shed light on this question, we study a teacher-student setting with a modular teacher where we have full control over the composition of ground truth modules. This allows us to relate the problem of compositional generalization to that of identification of the underlying modules. We show theoretically that identification up to linear transformation purely from demonstrations is possible in hypernetworks without having to learn an exponential number of module combinations. While our theory assumes the infinite data limit, in an extensive empirical study we demonstrate how meta-learning from finite data can discover modular solutions that generalize compositionally in modular but not monolithic architectures. We further show that our insights translate outside the teacher-student setting and demonstrate that in tasks with compositional preferences and tasks with compositional goals hypernetworks can discover modular policies that compositionally generalize.
• Abstract（参考訳）: 多くの複雑なタスクや環境は、単純で独立した部分に分解できる。 このような構成構造の発見は、適応を迅速化し、構成の一般化を可能にする可能性を秘めている。 進歩にもかかわらず、我々の最も強力なシステムは柔軟に組み立てるのに苦労している。 これらのシステムのほとんどはモノリシックだが、モジュール性によって多くのタスクの構成的性質をキャプチャできる。 しかし、モジュラーシステムがこの隠れた構成構造を発見する状況は不明である。 そこで,本研究では,地中真理モジュールの構成を完全に制御できるモジュール型教師を用いた教師学生設定について検討する。 これにより、構成的一般化の問題と基盤となるモジュールの識別の問題とを関連付けることができる。 実演から純粋に線形変換への同定は,指数関数的な加群の組み合わせを学習することなく,ハイパーネットで可能であることを示す。 我々の理論は無限のデータ限界を前提としているが、有限データからのメタラーニングが、構成をモジュラーに一般化するがモノリシックなアーキテクチャではないモジュラーソリューションをいかに発見できるかを実証する。 さらに,我々の洞察が教師の学習環境の外側に翻訳され,構成的選好と構成的目標を持つタスクにおいて,ハイパーネットワークが構成的に一般化するモジュラーポリシーを発見できることを実証する。

関連論文リスト

• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Once and for all: how to compose modules -- The composition calculus [1.4372498385359374]
  技術的なフレームワークでは、相互作用にはモジュールの構成が必要です。 相互作用するモジュールからなるデジタル世界のシステムを特徴付けるために,最小限の仮定セットを提案する。 この主張は、定理、性質、加群の特殊類、ケーススタディの豊富な体によって支持される。
  論文  参考訳（メタデータ） (2024-08-27T13:01:04Z)
• Grokking Modular Polynomials [5.358878931933351]
  解析解のクラスを拡張して、多くの項でモジュラー加法とモジュラー乗法を含める。 これらのデータセットでトレーニングされた実ネットワークは、一般化(グロキング)に基づいて類似した解を学ぶことを示す。 我々は、ニューラルネットワークのトレーニングを通じて、モジュラーを学習可能で学習不可能に分類する仮説を立てる。
  論文  参考訳（メタデータ） (2024-06-05T17:59:35Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials [29.09237503747052]
  モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。 各操作でグラクされたモデル間の転送性は、特定の組み合わせに限られることを示す。 マルチタスクの混合によってコグルーキングが発生し、すべてのタスクで同時にグルーキングが発生する。
  論文  参考訳（メタデータ） (2024-02-26T16:48:12Z)
• Modularity in Deep Learning: A Survey [0.0]
  データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。 データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。 タスクのモジュール化はタスクをサブタスクに分解することを指す。 モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
  論文  参考訳（メタデータ） (2023-10-02T12:41:34Z)
• Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation [29.16040150962427]
  ニューラルネットワークの構成一般化を改善するために,動的モジュール化推論モデル MORSE を提案する。 MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。 MORSEの合成一般化能力をテストするため、2つのベンチマークで解析木の長さと形状を増大させる実験を行った。
  論文  参考訳（メタデータ） (2023-09-14T11:40:30Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers [72.04044221898059]
  ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。 表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。 統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
  論文  参考訳（メタデータ） (2022-10-20T13:39:55Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。