論文の概要: A Complexity-Based Theory of Compositionality

• arxiv url: http://arxiv.org/abs/2410.14817v1
• Date: Fri, 18 Oct 2024 18:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:23.327173
• Title: A Complexity-Based Theory of Compositionality
• Title（参考訳）: 複雑度に基づく構成性の理論
• Authors: Eric Elmoznino, Thomas Jiralerspong, Yoshua Bengio, Guillaume Lajoie,
• Abstract要約: AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
• 参考スコア（独自算出の注目度）: 53.025566128892066
• License:
• Abstract: Compositionality is believed to be fundamental to intelligence. In humans, it underlies the structure of thought, language, and higher-level reasoning. In AI, compositional representations can enable a powerful form of out-of-distribution generalization, in which a model systematically adapts to novel combinations of known concepts. However, while we have strong intuitions about what compositionality is, there currently exists no formal definition for it that is measurable and mathematical. Here, we propose such a definition, which we call representational compositionality, that accounts for and extends our intuitions about compositionality. The definition is conceptually simple, quantitative, grounded in algorithmic information theory, and applicable to any representation. Intuitively, representational compositionality states that a compositional representation satisfies three properties. First, it must be expressive. Second, it must be possible to re-describe the representation as a function of discrete symbolic sequences with re-combinable parts, analogous to sentences in natural language. Third, the function that relates these symbolic sequences to the representation, analogous to semantics in natural language, must be simple. Through experiments on both synthetic and real world data, we validate our definition of compositionality and show how it unifies disparate intuitions from across the literature in both AI and cognitive science. We also show that representational compositionality, while theoretically intractable, can be readily estimated using standard deep learning tools. Our definition has the potential to inspire the design of novel, theoretically-driven models that better capture the mechanisms of compositional thought.
• Abstract（参考訳）: 構成性は知性に不可欠なものであると考えられている。 人間では、思考、言語、そしてより高いレベルの推論の構造の下にある。 AIでは、構成表現は、モデルが既知の概念の新たな組み合わせに体系的に適応する、配布外一般化の強力な形式を可能にする。 しかしながら、構成性について強い直観を持っているが、現在、測定可能で数学的である公式な定義は存在しない。 ここでは、構成性に関する直観を考慮し、拡張する、表現的構成性と呼ばれるそのような定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。 直感的に、表現的構成性は、構成的表現が3つの性質を満たすことを述べる。 まず、表現力が必要です。 第二に、表現は、自然言語の文に類似した、再結合可能な部分を持つ離散的な記号列の関数として再記述できなければならない。 第三に、これらの記号列を自然言語の意味論に類似した表現に関連付ける関数は単純でなければならない。 合成データと実世界のデータの両方の実験を通じて、構成性の定義を検証し、AIと認知科学の両方の文献から異なる直観を統一する方法を示します。 また,表現的構成性は理論上は難解であるが,標準的な深層学習ツールを用いて容易に推定できることを示す。 我々の定義は、構成的思考のメカニズムをよりよくとらえる新しい理論駆動モデルの設計を刺激する可能性を持っている。

関連論文リスト

• Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
  構成性は表現の本質的な次元に反映されていることを示す。 また, 構成性と幾何学的複雑性の関係は, 学習した言語的特徴によってもたらされることを示した。
  論文  参考訳（メタデータ） (2024-10-02T11:54:06Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Semantic Composition in Visually Grounded Language Models [0.0]
  視覚的に接地された言語モデルは構成構造を表現するのに大きく失敗することを示す。 我々は新しい構成的視覚的質問応答ベンチマークであるWinogroundVQAを紹介する。 我々は、研究の神経科学、精神言語学、形式意味論、哲学との関連について論じる。
  論文  参考訳（メタデータ） (2023-05-15T03:19:42Z)
• On the Complexity of Bayesian Generalization [141.21610899086392]
  我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。 問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
  論文  参考訳（メタデータ） (2022-11-20T17:21:37Z)
• The paradox of the compositionality of natural language: a neural machine translation case study [15.37696298313134]
  文献から3つの構成性テストを再確認し、ニューラルマシン翻訳(NMT)のために修正する。 NMTモデルの一貫性のない動作と(正しく)局所的処理と大域的処理の間を変調できないことの2つの主要な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2021-08-12T17:57:23Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Natural Language Rationales with Full-Stack Visual Reasoning: From Pixels to Semantic Frames to Commonsense Graphs [106.15931418425906]
  本研究は,複数の複雑な視覚的推論課題にまたがる自然言語の有理性の生成に焦点を当てた最初の研究である。 RationaleVT Transformerは、事前学習された言語モデルとオブジェクト認識、接地された視覚的セマンティックフレーム、視覚的コモンセンスグラフを組み合わせることで、自由テキスト論理を生成することを学習する統合モデルである。 実験の結果, 基礎となる事前学習言語モデルは視覚適応の恩恵を受けており, 複雑な視覚的・テキスト的推論タスクに対するモデル解釈可能性の補完として, 自由文合理化が有望な研究方向であることを示唆した。
  論文  参考訳（メタデータ） (2020-10-15T05:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。