論文の概要: Towards Emergent Language Symbolic Semantic Segmentation and Model
Interpretability
- arxiv url: http://arxiv.org/abs/2007.09448v2
- Date: Tue, 4 Aug 2020 19:12:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 05:34:28.761479
- Title: Towards Emergent Language Symbolic Semantic Segmentation and Model
Interpretability
- Title(参考訳): 創発的言語シンボリックセマンティックセグメンテーションとモデル解釈可能性を目指して
- Authors: Alberto Santamaria-Pang, James Kubricht, Aritra Chowdhury, Chitresh
Bhushan, Peter Tu
- Abstract要約: ヒトが言語を介して複雑なアイデアを伝達する方法に触発されて、解釈可能なセグメンテーションのための一般化されたセマンティック(textS2$)フレームワークを開発した。
敵対的モデル(例えば、GAN)とは異なり、私たちは、共通の目標を達成するために協力する必要がある2つのエージェント、Sender と Receiver の協力を明示的にモデル化する。
UNetのようなアーキテクチャを用いてシンボリック文を生成するSenderネットワークへの入力を生成し、受信側ネットワークは文に基づいてセグメンテーションマスクを共同生成する。
- 参考スコア(独自算出の注目度): 0.6649753747542209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in methods focused on the grounding problem have resulted in
techniques that can be used to construct a symbolic language associated with a
specific domain. Inspired by how humans communicate complex ideas through
language, we developed a generalized Symbolic Semantic ($\text{S}^2$) framework
for interpretable segmentation. Unlike adversarial models (e.g., GANs), we
explicitly model cooperation between two agents, a Sender and a Receiver, that
must cooperate to achieve a common goal. The Sender receives information from a
high layer of a segmentation network and generates a symbolic sentence derived
from a categorical distribution. The Receiver obtains the symbolic sentences
and co-generates the segmentation mask. In order for the model to converge, the
Sender and Receiver must learn to communicate using a private language. We
apply our architecture to segment tumors in the TCGA dataset. A UNet-like
architecture is used to generate input to the Sender network which produces a
symbolic sentence, and a Receiver network co-generates the segmentation mask
based on the sentence. Our Segmentation framework achieved similar or better
performance compared with state-of-the-art segmentation methods. In addition,
our results suggest direct interpretation of the symbolic sentences to
discriminate between normal and tumor tissue, tumor morphology, and other image
characteristics.
- Abstract(参考訳): 接地問題に焦点を当てた手法の最近の進歩は、特定のドメインに関連するシンボリック言語を構築するのに使用できる技術を生み出した。
人間が言語を通じて複雑なアイデアを伝達する方法に着想を得て、解釈可能なセグメンテーションのための一般化されたシンボリックセマンティクス(\text{s}^2$)フレームワークを開発した。
敵モデル(例えばgans)とは異なり、我々は共通の目標を達成するために協調しなければならない送信者と受信者という2つのエージェント間の協調を明示的にモデル化する。
Senderは、セグメンテーションネットワークの上位層から情報を受信し、カテゴリ分布から派生した記号文を生成する。
受信者はシンボル文を取得し、セグメンテーションマスクを共同生成する。
モデルを収束させるためには、SenderとReceerはプライベート言語を使ってコミュニケーションを学ぶ必要がある。
TCGAデータセット内の腫瘍のセグメント化にアーキテクチャを適用した。
UNetのようなアーキテクチャを用いてシンボリック文を生成するSenderネットワークへの入力を生成し、受信側ネットワークは文に基づいてセグメンテーションマスクを共同生成する。
私たちのセグメンテーションフレームワークは、最先端セグメンテーションメソッドと同等または優れたパフォーマンスを達成しました。
また, 正常と腫瘍の組織, 腫瘍の形態, その他の画像特徴を判別するための記号文の直接解釈も提案する。
関連論文リスト
- GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene
Understanding [105.69002990314864]
Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。
本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
論文 参考訳(メタデータ) (2023-11-20T15:59:41Z) - Linguistically Motivated Sign Language Segmentation [51.06873383204105]
個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。
本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。
私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
論文 参考訳(メタデータ) (2023-10-21T10:09:34Z) - Extracting Semantic Knowledge from GANs with Unsupervised Learning [65.32631025780631]
GAN(Generative Adversarial Networks)は、特徴写像のセマンティクスを線形に分離可能な形でエンコードする。
本稿では,線形分離性を利用してGANの特徴をクラスタリングする新しいクラスタリングアルゴリズムKLiSHを提案する。
KLiSHは、さまざまなオブジェクトのデータセットに基づいてトレーニングされたGANのきめ細かいセマンティクスの抽出に成功している。
論文 参考訳(メタデータ) (2022-11-30T03:18:16Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳(メタデータ) (2022-07-18T09:20:04Z) - Latent Topology Induction for Understanding Contextualized
Representations [84.7918739062235]
本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。
文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
論文 参考訳(メタデータ) (2022-06-03T11:22:48Z) - A Unified Architecture of Semantic Segmentation and Hierarchical
Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。
我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。
我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文 参考訳(メタデータ) (2021-12-08T22:06:31Z) - Robust 3D Scene Segmentation through Hierarchical and Learnable
Part-Fusion [9.275156524109438]
3Dセマンティックセグメンテーションは、自律運転、ロボット工学、AR/VRといったいくつかのシーン理解アプリケーションのための基本的なビルディングブロックである。
従来の手法では、階層的で反復的な手法を用いて意味や事例情報を融合するが、文脈融合における学習性は欠如している。
本稿では,セグメンテーション・フュージョン(Seegment-Fusion)について述べる。
論文 参考訳(メタデータ) (2021-11-16T13:14:47Z) - Rethinking Semantic Segmentation Evaluation for Explainability and Model
Selection [12.786648212233116]
地域ベースのオーバーおよびアンダーセグメンテーションを評価するための新しいメトリクスを紹介します。
分析して他のメトリクスと比較し、実世界のアプリケーションにおけるセマンティックセグメンテーションモデルのパフォーマンスをより説明しやすくなることを示す。
論文 参考訳(メタデータ) (2021-01-21T03:12:43Z) - Symbolic Semantic Segmentation and Interpretation of COVID-19 Lung
Infections in Chest CT volumes based on Emergent Languages [1.1199585259018459]
新型コロナウイルス(COVID-19)がパンデミックを引き起こし、日常生活に不可欠なサービスの幅が拡大した。
肺のCTスキャンにおけるCOVID-19感染のセグメンテーションのための創発言語に基づくシンボリックフレームワークを提案する。
本研究は, 感染部位, 感染形態, 画像特徴を識別する記号文の直接解釈を行った。
論文 参考訳(メタデータ) (2020-08-22T16:19:11Z) - Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text
Segmentation [9.416757363901295]
単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。
我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
論文 参考訳(メタデータ) (2020-01-03T17:06:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。