論文の概要: Interpretable agent communication from scratch(with a generic visual
processor emerging on the side)
- arxiv url: http://arxiv.org/abs/2106.04258v1
- Date: Tue, 8 Jun 2021 11:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 03:10:39.297940
- Title: Interpretable agent communication from scratch(with a generic visual
processor emerging on the side)
- Title(参考訳): スクラッチからの解釈可能なエージェント通信(側面にジェネリックビジュアルプロセッサが現れる)
- Authors: Roberto Dess\`i, Eugene Kharitonov, Marco Baroni
- Abstract要約: 我々は、2つのディープネットをスクラッチからトレーニングし、教師なし緊急通信を通じて現実的な参照識別を行う。
ほぼ解釈可能な創発的プロトコルにより、トレーニング時に見なかったオブジェクトタイプであっても、ネットがうまく通信できることが示される。
以上の結果から,従来考えられていたよりも現実的な状況下での(解釈可能な)深層ネット通信の実現可能性に関する具体的な証拠が得られた。
- 参考スコア(独自算出の注目度): 29.722833768572805
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As deep networks begin to be deployed as autonomous agents, the issue of how
they can communicate with each other becomes important. Here, we train two deep
nets from scratch to perform realistic referent identification through
unsupervised emergent communication. We show that the largely interpretable
emergent protocol allows the nets to successfully communicate even about object
types they did not see at training time. The visual representations induced as
a by-product of our training regime, moreover, show comparable quality, when
re-used as generic visual features, to a recent self-supervised learning model.
Our results provide concrete evidence of the viability of (interpretable)
emergent deep net communication in a more realistic scenario than previously
considered, as well as establishing an intriguing link between this field and
self-supervised visual learning.
- Abstract(参考訳): ディープネットワークが自律的なエージェントとしてデプロイされるようになると、相互に通信する方法の問題が重要になる。
ここでは,教師なしの創発的コミュニケーションによる現実的な参照識別を行うために,スクラッチから2つのディープネットを訓練する。
我々は,ネットワークがトレーニング時に見なかったオブジェクト型についても,ほぼ解釈可能な創発的プロトコルによってうまく通信できることを実証する。
トレーニング体制の副産物として誘導される視覚表現は,近年の自己教師型学習モデルに対して,汎用的な視覚特徴として再使用される場合と同等の品質を示す。
本研究は,より現実的なシナリオで(解釈可能な)創発的深層ネット通信の実現可能性を示す具体的証拠を提供するとともに,この分野と自己教師付き視覚学習との興味をそそるリンクを確立する。
関連論文リスト
- Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。
テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。
安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
論文 参考訳(メタデータ) (2024-05-09T15:39:54Z) - Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
人間は簡潔で直感的な説明を使って予測を説明することができる。
特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
論文 参考訳(メタデータ) (2023-06-29T00:24:42Z) - Referential communication in heterogeneous communities of pre-trained
visual deep networks [11.807640148536077]
大規模なトレーニング済みの画像処理ニューラルネットワークは、自動運転車やロボットのような自律エージェントに組み込まれている。
提案手法は,対象対象物を参照するための共有プロトコルを,自己管理的に開発することができることを示す。
また,創発的プロトコルの特性を質的かつ定量的に検討し,オブジェクトの高レベルなセマンティックな特徴を捉えていることを示す。
論文 参考訳(メタデータ) (2023-02-04T15:55:23Z) - Less Data, More Knowledge: Building Next Generation Semantic
Communication Networks [180.82142885410238]
本稿では、スケーラブルなエンドツーエンドセマンティック通信ネットワークの最初の厳密なビジョンを示す。
まず、セマンティック・コミュニケーション・ネットワークの設計は、データ駆動型ネットワークから知識駆動型ネットワークへどのように移行する必要があるかについて議論する。
意味表現と言語を用いることで、従来の送信機と受信機が教師と見習いになることを示す。
論文 参考訳(メタデータ) (2022-11-25T19:03:25Z) - A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。
視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩
我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
論文 参考訳(メタデータ) (2021-11-29T17:49:24Z) - Shared Visual Representations of Drawing for Communication: How do
different biases affect human interpretability and intent? [0.0]
学習済みの強力なエンコーダネットワークと適切な帰納バイアスの組み合わせは、認識可能なスケッチを描くエージェントに繋がることを示す。
スケッチによって伝達される意味的内容を自動的に分析する手法を開発した。
論文 参考訳(メタデータ) (2021-10-15T17:02:34Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Interpretation of Emergent Communication in Heterogeneous Collaborative
Embodied Agents [83.52684405389445]
本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。
この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。
視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。
創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
論文 参考訳(メタデータ) (2021-10-12T06:56:11Z) - Learning to Draw: Emergent Communication through Sketching [0.0]
タスクを協調的に解決するために,エージェントがコミュニケーションを学ぶ方法を示す。
既存の研究は言語に重点を置いており、エージェント間で個別のトークンのシーケンスを学習された通信チャネルで送信している。
我々のエージェントはディープニューラルネットワークによってパラメータ化されており、描画手順は微分可能であり、エンドツーエンドのトレーニングを可能にします。
参照型コミュニケーションゲームの枠組みでは,エージェントが図面によるコミュニケーションをうまく学べるだけでなく,適切な帰納的バイアスを伴って,人間が解釈できる方法で行うことができることを示す。
論文 参考訳(メタデータ) (2021-06-03T18:17:55Z) - The emergence of visual semantics through communication games [0.0]
ビジュアルセマンティクスをキャプチャする通信システムは、適切なタイプのゲームをすることで、完全に自己監督された方法で学習することができる。
我々の研究は、創発的なコミュニケーション研究と自己教師型特徴学習のギャップを埋める。
論文 参考訳(メタデータ) (2021-01-25T17:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。