論文の概要: PropNet: a White-Box and Human-Like Network for Sentence Representation

• arxiv url: http://arxiv.org/abs/2502.10725v1
• Date: Sat, 15 Feb 2025 08:28:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:17.933376
• Title: PropNet: a White-Box and Human-Like Network for Sentence Representation
• Title（参考訳）: PropNet: 文表現のためのホワイトボックスとヒューマンライクなネットワーク
• Authors: Fei Yang,
• Abstract要約: PropNetは文に含まれる命題に基づいた階層型ネットワークである。 PropNetはSTSベンチマークに基づく人間の認知プロセスの分析と理解を可能にします。
• 参考スコア（独自算出の注目度）: 3.994730279677248
• License:
• Abstract: Transformer-based embedding methods have dominated the field of sentence representation in recent years. Although they have achieved remarkable performance on NLP missions, such as semantic textual similarity (STS) tasks, their black-box nature and large-data-driven training style have raised concerns, including issues related to bias, trust, and safety. Many efforts have been made to improve the interpretability of embedding models, but these problems have not been fundamentally resolved. To achieve inherent interpretability, we propose a purely white-box and human-like sentence representation network, PropNet. Inspired by findings from cognitive science, PropNet constructs a hierarchical network based on the propositions contained in a sentence. While experiments indicate that PropNet has a significant gap compared to state-of-the-art (SOTA) embedding models in STS tasks, case studies reveal substantial room for improvement. Additionally, PropNet enables us to analyze and understand the human cognitive processes underlying STS benchmarks.
• Abstract（参考訳）: 近年,変圧器を用いた埋め込み方式が文表現の分野を支配している。 セマンティックテキスト類似性(STS)タスクなどのNLPミッションでは顕著なパフォーマンスを達成したが、ブラックボックスの性質と大規模データ駆動型トレーニングスタイルは、バイアス、信頼、安全に関する問題を含む懸念を引き起こしている。 埋め込みモデルの解釈可能性を改善するために多くの努力がなされているが、これらの問題は基本的には解決されていない。 そこで本研究では,真に白い文表現ネットワークであるPropNetを提案する。 認知科学の知見に触発されて、PropNetは文に含まれる命題に基づいて階層的なネットワークを構築する。 実験の結果、PropNetはSTSタスクの最先端(SOTA)埋め込みモデルと比較して大きなギャップがあることが示されているが、ケーススタディでは改善の余地があることが示されている。 さらに、PropNetはSTSベンチマークに基づく人間の認知プロセスの分析と理解を可能にします。

関連論文リスト

• Language Model Meets Prototypes: Towards Interpretable Text Classification Models through Prototypical Networks [1.1711824752079485]
  論文は、LMをエンコーダとして使用する際に本質的に解釈可能なモデルを開発することに焦点を当てている。 ホワイトボックスのマルチヘッドグラフアテンションに基づくプロトタイプネットワークを開発した。 私は、解釈可能なグラフニューラルネットワークを再設計するために、コントラスト学習による注意ベースのプロトタイプネットワークの拡張に取り組んでいます。
  論文  参考訳（メタデータ） (2024-12-04T22:59:35Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• Robust Text Classification: Analyzing Prototype-Based Networks [12.247144383314177]
  PBN(Prototype-Based Networks)は、コンピュータビジョンタスクのノイズに対して堅牢であることが示されている。 本研究では, PBN がテキスト分類タスクに変換するロバスト性について, ターゲットとスタティックの両方の攻撃条件下で検討する。 PBNsの解釈性はPBNsの強靭性の性質を理解するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-11-11T19:34:06Z)
• Evaluation and Improvement of Interpretability for Self-Explainable Part-Prototype Networks [43.821442711496154]
  パートプロトタイプネットワークは、固有の解釈可能性と非解釈可能ネットワークと同等の精度で、幅広い研究の関心を集めている。 本研究は,パートプロトタイプネットワークの解釈可能性について定量的かつ客観的に評価する試みである。 本研究では, 浅層深度特徴アライメントモジュールとスコアアグリゲーションモジュールを備えた高精細な部分プロトタイプネットワークを提案し, プロトタイプの解釈性を向上させる。
  論文  参考訳（メタデータ） (2022-12-12T14:59:11Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• i-Algebra: Towards Interactive Interpretability of Deep Neural Networks [41.13047686374529]
  i-Algebraはディープニューラルネットワーク(DNN)を解釈するための対話型フレームワークである。 その中核は原子、構成可能な演算子のライブラリであり、さまざまな入力粒度、異なる推論段階、および異なる解釈の視点からモデル挙動を説明する。 我々は,敵入力の検査,モデル不整合の解消,汚染データのクリーン化など,一連の代表的分析タスクでユーザ研究を行い,その有望なユーザビリティを示す。
  論文  参考訳（メタデータ） (2021-01-22T19:22:57Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。