論文の概要: Internal and external pressures on language emergence: least effort,
object constancy and frequency
- arxiv url: http://arxiv.org/abs/2004.03868v3
- Date: Tue, 13 Oct 2020 09:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 07:59:43.713015
- Title: Internal and external pressures on language emergence: least effort,
object constancy and frequency
- Title(参考訳): 言語出現における内外的圧力--最小努力、対象構成、頻度
- Authors: Diana Rodr\'iguez Luna, Edoardo Maria Ponti, Dieuwke Hupkes, Elia
Bruni
- Abstract要約: 過去の研究では、画像を特定するためにコミュニケーションが必要な参照ゲームにおいて、人工知能がほぼ完璧な精度を達成することが示されている。
この結果を回避するために,コミュニケーションに対する現実的な圧力源をいくつか提案する。
提案した圧力源は, 冗長性の低い新興言語, 高レベル概念情報, 一般化能力の向上に寄与することがわかった。
- 参考スコア(独自算出の注目度): 27.731900533634516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In previous work, artificial agents were shown to achieve almost perfect
accuracy in referential games where they have to communicate to identify
images. Nevertheless, the resulting communication protocols rarely display
salient features of natural languages, such as compositionality. In this paper,
we propose some realistic sources of pressure on communication that avert this
outcome. More specifically, we formalise the principle of least effort through
an auxiliary objective. Moreover, we explore several game variants, inspired by
the principle of object constancy, in which we alter the frequency, position,
and luminosity of the objects in the images. We perform an extensive analysis
on their effect through compositionality metrics, diagnostic classifiers, and
zero-shot evaluation. Our findings reveal that the proposed sources of pressure
result in emerging languages with less redundancy, more focus on high-level
conceptual information, and better abilities of generalisation. Overall, our
contributions reduce the gap between emergent and natural languages.
- Abstract(参考訳): 前回の研究では、イメージを識別するためにコミュニケーションが必要な参照ゲームにおいて、人工エージェントがほぼ完全な精度を達成することが示されている。
それでも、結果として生じる通信プロトコルは、構成性のような自然言語の健全な特徴をほとんど示さない。
本稿では,この結果に逆らうコミュニケーションへの現実的な圧力源を提案する。
より具体的には、補助的な目的を通して最小の努力の原則を定式化する。
さらに,画像中の物体の周波数,位置,光度を変化させるという,物体の安定性の原理に着想を得たいくつかのゲーム変種を探索する。
我々は,構成性指標,診断分類器,ゼロショット評価を通じて,その効果を広範囲に分析する。
以上の結果から,提案するプレッシャー源は冗長性が低く,概念情報の高レベル化,一般化能力の向上に寄与することが明らかとなった。
全体として、私たちの貢献は創発語と自然言語のギャップを減らします。
関連論文リスト
- Exploring Affordance and Situated Meaning in Image Captions: A
Multimodal Analysis [1.124958340749622]
Flickr30kデータセットのイメージに5つの知覚特性(Affordance, Perceptual Salience, Object Number, Cue Gazeing, Ecological Niche Association (ENA))を付加した注釈を付ける。
以上の結果より,ギブソニアの空白画像は,テコールの空白画像と比較して,「保持動詞」と「コンテナ名詞」を含む字幕の頻度が高いことが明らかとなった。
論文 参考訳(メタデータ) (2023-05-24T01:30:50Z) - Learning Multi-Object Positional Relationships via Emergent
Communication [16.26264889682904]
観測対象が2つの対象を含む参照ゲームにおいてエージェントを訓練し、位置関係が関与している場合、一般化が主要な問題であることを示す。
学習言語は,目標を位置関係で記述したマルチステップのMDPタスクにおいてうまく一般化でき,実画像や事前学習した画像機能よりも優れることがわかった。
また,参照ゲームからの言語移行は,このタスクで直接学習する言語よりも,新しいタスクにおいて優れており,参照ゲームにおける事前学習のメリットが示唆されている。
論文 参考訳(メタデータ) (2023-02-16T04:44:53Z) - Compositional Generalization in Grounded Language Learning via Induced
Model Sparsity [81.38804205212425]
グリッド環境における単純な言語条件のナビゲーション問題について考察する。
本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。
我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
論文 参考訳(メタデータ) (2022-07-06T08:46:27Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳(メタデータ) (2022-03-24T21:24:54Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - Emergent Communication of Generalizations [13.14792537601313]
共有された視覚的コンテキストにおける1つのオブジェクトのコミュニケーションは、過度に適合する傾向があり、具体的な参照を超えて、言語が役に立つことを奨励しない、と我々は主張する。
抽象的な視覚概念を表すオブジェクトの集合上での通信一般化を必要とするゲームを提案する。
これらのゲームは学習言語の体系性と解釈可能性を大幅に向上させる。
論文 参考訳(メタデータ) (2021-06-04T19:02:18Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳(メタデータ) (2020-10-06T15:21:08Z) - Probing Contextual Language Models for Common Ground with Visual
Representations [76.05769268286038]
我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。
以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。
視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
論文 参考訳(メタデータ) (2020-05-01T21:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。