論文の概要: Decoding Layer Saliency in Language Transformers

• arxiv url: http://arxiv.org/abs/2308.05219v1
• Date: Wed, 9 Aug 2023 20:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 14:29:44.048514
• Title: Decoding Layer Saliency in Language Transformers
• Title（参考訳）: 言語トランスフォーマの復号化層サリエンシー
• Authors: Elizabeth M. Hou, Gregory Castanon
• Abstract要約: よりよく研究されている視覚ネットワークでは、サリエンシはネットワークの畳み込み層を通して自然に局所化される。 そこで我々は,これらのネットワークに対して勾配法を適応させ,各レイヤのセマンティックコヒーレンス度を評価する手法を提案し,複数のベンチマーク分類データセットに対して一貫した改善を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a strategy for identifying textual saliency in large-scale language models applied to classification tasks. In visual networks where saliency is more well-studied, saliency is naturally localized through the convolutional layers of the network; however, the same is not true in modern transformer-stack networks used to process natural language. We adapt gradient-based saliency methods for these networks, propose a method for evaluating the degree of semantic coherence of each layer, and demonstrate consistent improvement over numerous other methods for textual saliency on multiple benchmark classification datasets. Our approach requires no additional training or access to labelled data, and is comparatively very computationally efficient.
• Abstract（参考訳）: 本稿では,分類タスクに適用する大規模言語モデルにおいて,テキストのsaliencyを識別する手法を提案する。 よりよく研究されている視覚ネットワークでは、サリエンシはネットワークの畳み込み層を通して自然に局所化されるが、現代のトランスフォーマースタックネットワークでは、自然言語を処理するのに使われていない。 そこで我々は,これらのネットワークに対して勾配法を適応させ,各階層のセマンティック・コヒーレンスを評価する手法を提案し,複数のベンチマーク分類データセット上でテキスト・サリエンシのための他の多くの手法よりも一貫した改善を示す。 私たちのアプローチでは、ラベル付きデータに対する追加のトレーニングやアクセスは必要ありません。

関連論文リスト

• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• PRIOR: Prototype Representation Joint Learning from Medical Images and Reports [19.336988866061294]
  医用画像とレポートのグローバルなアライメントとローカルなアライメントを組み合わせた表現学習フレームワークを提案する。 標準的なグローバルな多モードアライメント手法とは対照的に、細粒度表現に局所アライメントモジュールを用いる。 低レベルのローカライズされた視覚的および高レベルの臨床言語的特徴に焦点を合わせることができる文量プロトタイプメモリバンクを構築する。
  論文  参考訳（メタデータ） (2023-07-24T07:49:01Z)
• SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
  ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。 我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-26T17:00:23Z)
• Learning Consistency from High-quality Pseudo-labels for Weakly Supervised Object Localization [7.602783618330373]
  より一貫したローカライゼーションを学習するための2段階のアプローチを提案する。 まず,マスクを用いた擬似ラベル生成アルゴリズムを提案し,擬似教師付き学習手法を用いてオブジェクトの局所化ネットワークを初期化する。 第2段階では,分類識別に基づく疑似ラベルの信頼度を簡易かつ効果的に評価する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T09:05:51Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Cross-lingual Text Classification with Heterogeneous Graph Neural Network [2.6936806968297913]
  言語間テキスト分類は、ソース言語上の分類器を訓練し、その知識を対象言語に伝達することを目的としている。 近年の多言語事前学習言語モデル (mPLM) は言語間分類タスクにおいて顕著な結果をもたらす。 言語間テキスト分類のための言語内および言語間における異種情報を統合するための,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-24T12:45:42Z)
• Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation [53.49821324597837]
  微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。 本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。 提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
  論文  参考訳（メタデータ） (2021-03-02T15:05:09Z)
• Transformer Interpretability Beyond Attention Visualization [87.96102461221415]
  自己保持技術、特にトランスフォーマーは、テキスト処理の分野を支配しています。 本研究では,トランスフォーマーネットワークの関連性を計算する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-17T18:56:33Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning [86.45526827323954]
  弱教師付きセマンティックセグメンテーションは、トレーニングのためにピクセル単位のラベル情報が提供されないため、難しい課題である。 このようなペア関係を学習するための反復アルゴリズムを提案する。 本稿では,提案アルゴリズムが最先端手法に対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2020-02-19T10:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。