論文の概要: Towards Emergent Language Symbolic Semantic Segmentation and Model Interpretability

• arxiv url: http://arxiv.org/abs/2007.09448v2
• Date: Tue, 4 Aug 2020 19:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:34:28.761479
• Title: Towards Emergent Language Symbolic Semantic Segmentation and Model Interpretability
• Title（参考訳）: 創発的言語シンボリックセマンティックセグメンテーションとモデル解釈可能性を目指して
• Authors: Alberto Santamaria-Pang, James Kubricht, Aritra Chowdhury, Chitresh Bhushan, Peter Tu
• Abstract要約: ヒトが言語を介して複雑なアイデアを伝達する方法に触発されて、解釈可能なセグメンテーションのための一般化されたセマンティック(textS2$)フレームワークを開発した。 敵対的モデル(例えば、GAN)とは異なり、私たちは、共通の目標を達成するために協力する必要がある2つのエージェント、Sender と Receiver の協力を明示的にモデル化する。 UNetのようなアーキテクチャを用いてシンボリック文を生成するSenderネットワークへの入力を生成し、受信側ネットワークは文に基づいてセグメンテーションマスクを共同生成する。
• 参考スコア（独自算出の注目度）: 0.6649753747542209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in methods focused on the grounding problem have resulted in techniques that can be used to construct a symbolic language associated with a specific domain. Inspired by how humans communicate complex ideas through language, we developed a generalized Symbolic Semantic ($\text{S}^2$) framework for interpretable segmentation. Unlike adversarial models (e.g., GANs), we explicitly model cooperation between two agents, a Sender and a Receiver, that must cooperate to achieve a common goal. The Sender receives information from a high layer of a segmentation network and generates a symbolic sentence derived from a categorical distribution. The Receiver obtains the symbolic sentences and co-generates the segmentation mask. In order for the model to converge, the Sender and Receiver must learn to communicate using a private language. We apply our architecture to segment tumors in the TCGA dataset. A UNet-like architecture is used to generate input to the Sender network which produces a symbolic sentence, and a Receiver network co-generates the segmentation mask based on the sentence. Our Segmentation framework achieved similar or better performance compared with state-of-the-art segmentation methods. In addition, our results suggest direct interpretation of the symbolic sentences to discriminate between normal and tumor tissue, tumor morphology, and other image characteristics.
• Abstract（参考訳）: 接地問題に焦点を当てた手法の最近の進歩は、特定のドメインに関連するシンボリック言語を構築するのに使用できる技術を生み出した。 人間が言語を通じて複雑なアイデアを伝達する方法に着想を得て、解釈可能なセグメンテーションのための一般化されたシンボリックセマンティクス(\text{s}^2$)フレームワークを開発した。 敵モデル(例えばgans)とは異なり、我々は共通の目標を達成するために協調しなければならない送信者と受信者という2つのエージェント間の協調を明示的にモデル化する。 Senderは、セグメンテーションネットワークの上位層から情報を受信し、カテゴリ分布から派生した記号文を生成する。 受信者はシンボル文を取得し、セグメンテーションマスクを共同生成する。 モデルを収束させるためには、SenderとReceerはプライベート言語を使ってコミュニケーションを学ぶ必要がある。 TCGAデータセット内の腫瘍のセグメント化にアーキテクチャを適用した。 UNetのようなアーキテクチャを用いてシンボリック文を生成するSenderネットワークへの入力を生成し、受信側ネットワークは文に基づいてセグメンテーションマスクを共同生成する。 私たちのセグメンテーションフレームワークは、最先端セグメンテーションメソッドと同等または優れたパフォーマンスを達成しました。 また, 正常と腫瘍の組織, 腫瘍の形態, その他の画像特徴を判別するための記号文の直接解釈も提案する。

関連論文リスト

• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Linguistically Motivated Sign Language Segmentation [51.06873383204105]
  個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。 本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。 私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
  論文  参考訳（メタデータ） (2023-10-21T10:09:34Z)
• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
  セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。 我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。 我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-08T22:06:31Z)
• Symbolic Semantic Segmentation and Interpretation of COVID-19 Lung Infections in Chest CT volumes based on Emergent Languages [1.1199585259018459]
  新型コロナウイルス(COVID-19)がパンデミックを引き起こし、日常生活に不可欠なサービスの幅が拡大した。 肺のCTスキャンにおけるCOVID-19感染のセグメンテーションのための創発言語に基づくシンボリックフレームワークを提案する。 本研究は, 感染部位, 感染形態, 画像特徴を識別する記号文の直接解釈を行った。
  論文  参考訳（メタデータ） (2020-08-22T16:19:11Z)
• Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation [9.416757363901295]
  単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。 我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
  論文  参考訳（メタデータ） (2020-01-03T17:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。