論文の概要: iBERT: Interpretable Style Embeddings via Sense Decomposition

• arxiv url: http://arxiv.org/abs/2510.09882v1
• Date: Fri, 10 Oct 2025 21:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.667254
• Title: iBERT: Interpretable Style Embeddings via Sense Decomposition
• Title（参考訳）: iBERT:センス分解による解釈可能なスタイルの埋め込み
• Authors: Vishal Anand, Milad Alshomary, Kathleen McKeown,
• Abstract要約: iBERT (interpretable-BERT) は、本質的に解釈可能な埋め込みを生成するエンコーダである。 各入力トークンは、k個の文脈に依存しない感覚ベクトル上のスパースで非負の混合として表現される。
• 参考スコア（独自算出の注目度）: 13.807309397328467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present iBERT (interpretable-BERT), an encoder to produce inherently interpretable and controllable embeddings - designed to modularize and expose the discriminative cues present in language, such as stylistic and semantic structure. Each input token is represented as a sparse, non-negative mixture over k context-independent sense vectors, which can be pooled into sentence embeddings or used directly at the token level. This enables modular control over representation, before any decoding or downstream use. To demonstrate our model's interpretability, we evaluate it on a suite of style-focused tasks. On the STEL benchmark, it improves style representation effectiveness by ~8 points over SBERT-style baselines, while maintaining competitive performance on authorship verification. Because each embedding is a structured composition of interpretable senses, we highlight how specific style attributes - such as emoji use, formality, or misspelling can be assigned to specific sense vectors. While our experiments center on style, iBERT is not limited to stylistic modeling. Its structural modularity is designed to interpretably decompose whichever discriminative signals are present in the data - enabling generalization even when supervision blends stylistic and semantic factors.
• Abstract（参考訳）: iBERT (interpretable-BERT) は,文体構造や意味構造などの言語に存在する識別的手がかりをモジュール化し,公開するために設計された,本質的に解釈可能で制御可能な埋め込みを生成するエンコーダである。 各入力トークンは、k個の文脈に依存しない感覚ベクトル上でスパースで非負の混合として表現され、文の埋め込みやトークンレベルで直接使用することができる。 これにより、デコードやダウンストリームが使用される前に、表現のモジュラー制御が可能になる。 モデルの解釈可能性を示すために、我々はスタイルに着目した一連のタスクでそれを評価した。 STELベンチマークでは、作者検証の競合性能を維持しながら、SBERTスタイルのベースラインよりも約8ポイントのスタイル表現効率を向上させる。 それぞれの埋め込みは解釈可能な感覚の構造化された構成であるため、絵文字の使用、形式性、ミススペルといった特定のスタイル属性が特定の感覚ベクトルにどのように割り当てられるかを強調します。 我々の実験はスタイルに重点を置いているが、iBERTはスタイルモデリングに限らない。 その構造的モジュラリティは、データに識別的信号が存在するかどうかを解釈可能に分解するように設計されており、監督がスタイリスティックな要素とセマンティックな要素を混合しても一般化が可能である。

関連論文リスト

• Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations [0.0]
  埋め込み層が完全に凍結されたTransformerモデルを構築します。 我々の手法は、Unicode中心の新しいトークン化器を含む任意のトークン化器と互換性がある。 トレーニング可能なセマンティックな埋め込みがないにもかかわらず、私たちのモデルは収束し、一貫性のあるテキストを生成します。
  論文  参考訳（メタデータ） (2025-07-07T11:17:32Z)
• Guided Interpretable Facial Expression Recognition via Spatial Action Unit Cues [55.97779732051921]
  オーキューを分類器学習に明示的に組み込むための新しい学習戦略が提案されている。 分類性能を劣化させることなく階層的解釈性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-01T02:13:49Z)
• CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
  CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。 モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、13のSTRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T12:51:20Z)
• TAX: Tendency-and-Assignment Explainer for Semantic Segmentation with Multi-Annotators [31.36818611460614]
  Tendency-and-Assignment Explainer (TAX) はアノテータと割り当てレベルで解釈性を提供するように設計されている。 我々のTAXは、同等の性能を持つ最先端のネットワークアーキテクチャに適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-19T12:40:22Z)
• Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures [104.32063681736349]
  本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。 PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
  論文  参考訳（メタデータ） (2022-12-02T11:19:16Z)
• Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer [6.467090475885798]
  この摂動モデルを完成させるEPAAE(Perturbed Adrial AutoEncoders)を導入する。 これは、(a)スタイル的に類似した文をまとめるより優れた組織化された潜在空間を生み出すことを実証的に示す。 また、テキストスタイルの転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。
  論文  参考訳（メタデータ） (2022-05-04T20:04:24Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。