論文の概要: Intermediate Entity-based Sparse Interpretable Representation Learning

• arxiv url: http://arxiv.org/abs/2212.01641v1
• Date: Sat, 3 Dec 2022 16:16:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 15:28:43.242476
• Title: Intermediate Entity-based Sparse Interpretable Representation Learning
• Title（参考訳）: 中間エンティティベーススパース解釈型表現学習
• Authors: Diego Garcia-Olano, Yasumasa Onoe, Joydeep Ghosh, Byron C. Wallace
• Abstract要約: 解釈可能なエンティティ表現(英: Interpretable entity representations、IER)は、粒度の細かいエンティティタイプに対応する「人間可読」なスパース埋め込みである。 中間エンティリティに基づくスパース解釈表現学習(ItsIRL)を提案する。
• 参考スコア（独自算出の注目度）: 37.128220450933625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretable entity representations (IERs) are sparse embeddings that are "human-readable" in that dimensions correspond to fine-grained entity types and values are predicted probabilities that a given entity is of the corresponding type. These methods perform well in zero-shot and low supervision settings. Compared to standard dense neural embeddings, such interpretable representations may permit analysis and debugging. However, while fine-tuning sparse, interpretable representations improves accuracy on downstream tasks, it destroys the semantics of the dimensions which were enforced in pre-training. Can we maintain the interpretable semantics afforded by IERs while improving predictive performance on downstream tasks? Toward this end, we propose Intermediate enTity-based Sparse Interpretable Representation Learning (ItsIRL). ItsIRL realizes improved performance over prior IERs on biomedical tasks, while maintaining "interpretability" generally and their ability to support model debugging specifically. The latter is enabled in part by the ability to perform "counterfactual" fine-grained entity type manipulation, which we explore in this work. Finally, we propose a method to construct entity type based class prototypes for revealing global semantic properties of classes learned by our model.
• Abstract（参考訳）: 解釈可能なエンティティ表現(iers)は、次元がきめ細かなエンティティタイプに対応し、与えられたエンティティが対応する型である確率が予測されるような「人間の読みやすい」埋め込みである。 これらの方法はゼロショットと低い監督設定でうまく機能する。 標準的な高密度ニューラルネットワークと比較して、そのような解釈可能な表現は解析とデバッグを可能にする。 しかしながら、微調整されたスパースで解釈可能な表現は下流タスクの精度を向上させるが、事前トレーニングで強制された次元のセマンティクスを破壊する。 下流タスクにおける予測性能を改善しながら、IERが持つ解釈可能なセマンティクスを維持できるだろうか? この目的に向けて,中間エンティティベーススパース解釈表現学習(itsirl)を提案する。 itirlは、概して「解釈可能性」と特にモデルデバッグをサポートする能力を維持しながら、生物医学タスクにおける以前のiasよりもパフォーマンスが向上することを実現する。 後者は、私たちが本書で検討している"カントリーファクト"なエンティティ型操作を実行する機能によって、部分的に有効になっている。 最後に,本モデルで学習したクラスのグローバルセマンティクス特性を明らかにするために,エンティティ型に基づくクラスプロトタイプを構築する手法を提案する。

関連論文リスト

• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• InterpretCC: Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
  ニューラルネットワークの解釈性は、3つの重要な要件間のトレードオフである。 本稿では,人間中心の解釈可能性を保証する,解釈可能なニューラルネットワークのファミリであるInterpretCCを提案する。
  論文  参考訳（メタデータ） (2024-02-05T11:55:50Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Transferring Semantic Knowledge Into Language Encoders [6.85316573653194]
  意味的意味表現から言語エンコーダへ意味的知識を伝達する手法である意味型ミッドチューニングを導入する。 このアライメントは分類や三重項の損失によって暗黙的に学習できることを示す。 提案手法は, 推論, 理解, テキストの類似性, その他の意味的タスクにおいて, 予測性能の向上を示す言語エンコーダを生成する。
  論文  参考訳（メタデータ） (2021-10-14T14:11:12Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。