論文の概要: Measuring non-trivial compositionality in emergent communication
- arxiv url: http://arxiv.org/abs/2010.15058v2
- Date: Thu, 29 Oct 2020 16:22:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 04:28:57.135986
- Title: Measuring non-trivial compositionality in emergent communication
- Title（参考訳）: 創発的コミュニケーションにおける非自明な構成性の測定
- Authors: Tomasz Korbak and Julian Zubek and Joanna R\k{a}czaszek-Leonardi
- Abstract要約: 合成プロトコルは、複素信号の意味がその構成成分の意味の交わりに沸騰するときに、自明に構成的である。
プロトコルが非自明な構成的(NTC)である場合、複素信号の意味がそれらの構成成分の意味のより複雑な関数である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compositionality is an important explanatory target in emergent communication
and language evolution. The vast majority of computational models of
communication account for the emergence of only a very basic form of
compositionality: trivial compositionality. A compositional protocol is
trivially compositional if the meaning of a complex signal (e.g. blue circle)
boils down to the intersection of meanings of its constituents (e.g. the
intersection of the set of blue objects and the set of circles). A protocol is
non-trivially compositional (NTC) if the meaning of a complex signal (e.g.
biggest apple) is a more complex function of the meanings of their
constituents. In this paper, we review several metrics of compositionality used
in emergent communication and experimentally show that most of them fail to
detect NTC - i.e. they treat non-trivial compositionality as a failure of
compositionality. The one exception is tree reconstruction error, a metric
motivated by formal accounts of compositionality. These results emphasise
important limitations of emergent communication research that could hamper
progress on modelling the emergence of NTC.
- Abstract（参考訳）: 構成性は創発的なコミュニケーションと言語進化における重要な説明的目標である。
通信の計算モデルの大半は、単純な構成性という非常に基本的な構成性の出現である。
合成プロトコルは、複素信号(例えば、青い円)の意味が、その成分の意味の交わり(例えば、青い物体の集合と円の集合の交わり)に沸騰するときに、自明に構成的である。
プロトコルが非自明な合成(ntc)であるとは、複素信号(例えば最大のリンゴ)の意味が構成成分の意味のより複雑な関数であるときに言う。
本稿では,創発的コミュニケーションに使用される構成性の指標について概説し,その多くがNTCの検出に失敗したこと,すなわち,非自明な構成性の障害を合成性の失敗として扱うこと,を実験的に示す。
一つの例外はツリー再構成エラーであり、構成性の形式的説明によって動機づけられたメトリクスである。
これらの結果は,NTCの出現のモデル化の進展を阻害する可能性のある緊急コミュニケーション研究の重要な限界を強調した。
関連論文リスト
- A Complexity-Based Theory of Compositionality [53.025566128892066]
AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。
ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。
この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
論文 参考訳（メタデータ） (2024-10-18T18:37:27Z) - Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
構成性は表現の本質的な次元に反映されていることを示す。
また, 構成性と幾何学的複雑性の関係は, 学習した言語的特徴によってもたらされることを示した。
論文 参考訳（メタデータ） (2024-10-02T11:54:06Z) - Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models [53.840982361119565]
コンポジションスコアは、文理解中に意味合成の度合いを定量化するために設計された、新しいモデルに基づく計量である。
実験結果から, 単語の頻度, 構造処理, 単語に対する一般感性に関連する脳クラスタとの関連が示唆された。
論文 参考訳（メタデータ） (2024-03-07T08:44:42Z) - Do Deep Neural Networks Capture Compositionality in Arithmetic
Reasoning? [31.692400722222278]
算術的シンボリック推論において、構成性に関するスキルツリーを導入し、階層的な複雑性レベルと3つの構成性次元(体系性、生産性、置換性)を定義する。
実験の結果, 3種類の構成のうち, モデルが最も体系性に苦慮し, 比較的単純な構成でも性能が劣っていることが明らかとなった。
論文 参考訳（メタデータ） (2023-02-15T18:59:04Z) - Recursive Neural Networks with Bottlenecks Diagnose
(Non-)Compositionality [65.60002535580298]
データの構成性の定量化は難しい課題であり、主に短い発話のために研究されている。
モデルにおけるデータの表現とボトルネックの有無を比較することで,構成性の測定値が得られることを示す。
本手法は、合成データを用いた算術式の評価と、自然言語データを用いた感情分類に適用する。
論文 参考訳（メタデータ） (2023-01-31T15:46:39Z) - Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
トポロジカル空間の観点から意味コミュニケーションを研究する。
送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。
受信機は構造を復号し、行方不明または歪んだデータを推測する。
論文 参考訳（メタデータ） (2022-10-30T22:33:44Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Infinite use of finite means: Zero-Shot Generalization using
Compositional Emergent Protocols [0.0]
学習エージェントに内在的な報酬を活用し,外部からのフィードバックがなければ構成性を誘発できることを示す。
2Dグリッド環境での接地言語獲得を調査するためのプラットフォームであるComm-gSCANを紹介します。
論文 参考訳（メタデータ） (2020-12-09T12:47:20Z) - COGS: A Compositional Generalization Challenge Based on Semantic
Interpretation [27.89019245763459]
英語の断片に基づく意味解析データセットであるCOGSを紹介する。
COGSの評価部分は、構成一般化によってのみ対処できる複数の系統的なギャップを含んでいる。
トランスフォーマーとLSTMを用いた実験では, COGS試験セットの分布精度は96～99%に近かったが, 一般化精度は16～35%低下し, ランダムシードに対する感度が高かった。
論文 参考訳（メタデータ） (2020-10-12T05:45:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。