論文の概要: Effective and Interpretable Information Aggregation with Capacity Networks

• arxiv url: http://arxiv.org/abs/2207.12013v1
• Date: Mon, 25 Jul 2022 09:45:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:17:17.603098
• Title: Effective and Interpretable Information Aggregation with Capacity Networks
• Title（参考訳）: 容量ネットワークを用いた有効かつ解釈可能な情報集約
• Authors: Markus Zopf
• Abstract要約: キャパシティネットワークは、意味論的意味のある空間に集約できる複数の解釈可能な中間結果を生成する。 この単純な帰納バイアスを実装することで、異なるエンコーダ・デコーダアーキテクチャの改善がもたらされることを示す。
• 参考スコア（独自算出の注目度）: 3.4012007729454807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to aggregate information from multiple instances is a key question multiple instance learning. Prior neural models implement different variants of the well-known encoder-decoder strategy according to which all input features are encoded a single, high-dimensional embedding which is then decoded to generate an output. In this work, inspired by Choquet capacities, we propose Capacity networks. Unlike encoder-decoders, Capacity networks generate multiple interpretable intermediate results which can be aggregated in a semantically meaningful space to obtain the final output. Our experiments show that implementing this simple inductive bias leads to improvements over different encoder-decoder architectures in a wide range of experiments. Moreover, the interpretable intermediate results make Capacity networks interpretable by design, which allows a semantically meaningful inspection, evaluation, and regularization of the network internals.
• Abstract（参考訳）: 複数のインスタンスから情報を集約する方法は、複数のインスタンス学習の重要な疑問である。 以前のニューラルモデルは、よく知られたエンコーダ・デコーダ戦略の異なる変種を実装しており、すべての入力特徴が単一の高次元埋め込みを符号化され、出力を生成するためにデコードされる。 本研究は,コケ容量に触発され,キャパシティネットワークを提案する。 エンコーダ・デコーダとは異なり、キャパシティネットワークは複数の解釈可能な中間結果を生成し、意味的に意味のある空間に集約して最終的な出力を得る。 この単純な帰納バイアスを実装することで、様々なエンコーダ・デコーダアーキテクチャを幅広い実験で改善できることを示す。 さらに、解釈可能な中間結果はキャパシティネットワークを設計によって解釈可能とし、ネットワーク内部を意味的に有意義な検査、評価、正規化を可能にする。

関連論文リスト

• Towards Diverse Binary Segmentation via A Simple yet General Gated Network [71.19503376629083]
  本稿では,バイナリセグメンテーションタスクに対処するシンプルな汎用ネットワーク(GateNet)を提案する。 多段ゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに選択的に送信することができる。 我々は,アトーラスの畳み込みを改善し,新規な折り畳み畳み畳み畳み畳み込みを形成する「Fold」操作を導入した。
  論文  参考訳（メタデータ） (2023-03-18T11:26:36Z)
• Complexity of Representations in Deep Learning [2.0219767626075438]
  データ複雑性の観点からクラスを分離する際の学習表現の有効性を分析する。 データ複雑性がネットワークを通じてどのように進化するか、トレーニング中にどのように変化するのか、そして、ネットワーク設計とトレーニングサンプルの可用性によってどのように影響を受けるのかを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:20:21Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
  セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。 まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
  論文  参考訳（メタデータ） (2022-03-25T01:24:24Z)
• Latent Code-Based Fusion: A Volterra Neural Network Approach [21.25021807184103]
  最近導入されたVolterra Neural Networks(VNN)を用いた深層構造エンコーダを提案する。 提案手法は,cnnベースのオートエンコーダに対して,より頑健な分類性能を持つサンプル複雑性を示す。
  論文  参考訳（メタデータ） (2021-04-10T18:29:01Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Suppress and Balance: A Simple Gated Network for Salient Object Detection [89.88222217065858]
  両問題を同時に解くための単純なゲートネットワーク(GateNet)を提案する。 多レベルゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに最適に送信することができる。 さらに,提案したFold-ASPP操作(Fold-ASPP)に基づくアトラス空間ピラミッドプーリングを用いて,様々なスケールのサリアンオブジェクトを正確に位置決めする。
  論文  参考訳（メタデータ） (2020-07-16T02:00:53Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。