論文の概要: Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models
- arxiv url: http://arxiv.org/abs/2609.05333v1
- Date: Fri, 04 Sep 2026 16:38:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.118093
- Title: Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models
- Title（参考訳）: 変圧器言語モデルにおける文脈独立度測定用ツールキットの技術マニュアル
- Abstract要約: トランスフォーマー言語モデルは、その埋め込み層における単語タイプに単一の文脈非依存ベクトルを割り当てるが、その単語が後の層でコンテキストによって発生すると広く信じられている。
この信念をきれいにテストするには、文脈と意図された感覚が制御されたラベル付けされた方法で変化している間に、単語の形式を固定する構造が必要である。
このマニュアルはそのような構造を中心に構築されたオープンツールキットを文書化し、それをブリッジ形式と呼ぶ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A transformer language model assigns a single, context-independent vector to a word type at its embedding layer, yet is widely believed to individuate that word's occurrences by context in its later layers. Testing this belief cleanly requires a construct that holds the word form fixed while its context and intended sense vary in a controlled, labeled way. This manual documents an open toolkit built around such a construct, which we call a bridge form: a single written word that recurs, unchanged, across two or more subject domains with a different sense in each. We describe, and justify, every stage of the pipeline: the declarative specification of bridge forms and their source domains, corpus acquisition from Wikipedia, occurrence localization, layer-wise representation extraction, a domain-pairwise silhouette measurement of separation in the model's representation space, and a paired visualization protocol. Each design choice is presented together with the methodological failure mode it is meant to avoid (sense contamination from overly broad category labels, the multi-group bias of the silhouette coefficient, subword-tokenization misalignment, and axis-comparability artifacts in dimensionality-reduced plots, among others). This manuscript is a methodological and implementation reference: it does not report or interpret empirical outcomes of running the toolkit on any particular model or bridge-form set. The toolkit, its full source, and the corpora used to exercise it are archived separately (Section 9) under a persistent identifier, and are intended to be cited as an instrument by studies that use it to produce and interpret empirical results.
- Abstract（参考訳）: トランスフォーマー言語モデルは、その埋め込み層における単語タイプに単一の文脈非依存ベクトルを割り当てるが、その単語が後の層でコンテキストによって発生すると広く信じられている。
この信念をきれいにテストするには、文脈と意図された感覚が制御されたラベル付けされた方法で変化している間に、単語の形式を固定する構造が必要である。
このマニュアルはそのような構造を中心に構築されたオープンツールキットを文書化し、ブリッジ形式(ブリッジ形式)と呼ぶ。
パイプラインのすべてのステージについて記述し、正当化する: ブリッジフォームとそのソースドメインの宣言的仕様、ウィキペディアからのコーパス取得、創発的ローカライゼーション、レイヤワイズ表現抽出、モデルの表現空間における分離のドメインペアワイズシルエット測定、およびペア可視化プロトコル。
各設計選択は、その回避を目的とした方法論的失敗モードとともに提示される(極端に広いカテゴリラベルからの汚染、シルエット係数の多群偏差、サブワードトークン化ミスアライメント、次元再現プロットにおける軸互換性アーティファクトなど)。
この写本は方法論と実装のリファレンスであり、特定のモデルやブリッジ形式の集合上でツールキットを実行する経験的な結果を報告したり解釈したりしない。
ツールキット、その完全なソース、そしてそれを実行するために使用されるコーポラは、永続的な識別子の下で別々にアーカイブされ(第9章)、実験結果の生成と解釈に使用する研究によって、楽器として引用されることが意図されている。
関連論文リスト
- An Ontology-Guided, Deduplication-Aware Extraction Layer for Knowledge Graph Construction from Heterogeneous Documents [0.0]
本稿では,ライブドキュメントストリームを形式オントロジーに整合した検証済み知識グラフに変換する生産抽出層の設計,実装,実証的改良について述べる。
類似性を埋め込み、抽出プロンプトに注入することにより、キュレートしたオントロジーの関連スライスをグラフデータベースからライブで検索する。
抽出された結果は、決定論的クリーニング、チャンクのマージ、リレーションのための2番目のパス、モデル推論を必要としない6つの重複アルゴリズム、コンフリクトガードが類似性スコアをオーバーライドできない埋め込み分解サブシステムという5つのステージの洗練パイプラインを通過します。
論文 参考訳（メタデータ） (2026-07-22T09:45:26Z) - Text-as-Signal: Quantitative Semantic Scoring with Embeddings, Logprobs, and Noise Reduction [0.0]
本稿では,テキストコーパスを定量的意味信号に変換するための実用的なパイプラインを提案する。
本稿では,Qwen埋め込み, UMAP, モデル出力空間から直接導出される意味指標, および3段階の異常検出手順が, 操作用テキスト・アズ・サインのワークフローにどのように組み合わされているかを示す。
論文 参考訳（メタデータ） (2026-03-17T19:56:29Z) - From Characters to Words: Hierarchical Pre-trained Language Model for
Open-vocabulary Language Understanding [22.390804161191635]
自然言語理解のための現在の最先端モデルは、原文を離散トークンに変換するための前処理ステップを必要とする。
トークン化として知られるこのプロセスは、事前に構築された単語またはサブワード形態素の語彙に依存している。
階層的な2段階のアプローチを採用する新しいオープン語彙言語モデルを導入する。
論文 参考訳（メタデータ） (2023-05-23T23:22:20Z) - Author Name Disambiguation via Heterogeneous Network Embedding from
Structural and Semantic Perspectives [13.266320447769564]
名前の曖昧さは、複数の著者が同じ名前を持つなど、学術的なデジタル図書館で一般的である。
提案手法は主に異種ネットワークとクラスタリングのための表現学習に基づいている。
意味表現はNLPツールを使用して生成される。
論文 参考訳（メタデータ） (2022-12-24T11:22:34Z) - LexSubCon: Integrating Knowledge from Lexical Resources into Contextual
Embeddings for Lexical Substitution [76.615287796753]
本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。
これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。
我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-11T21:25:56Z) - Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文 参考訳（メタデータ） (2021-01-30T18:59:43Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z) - Grounded and Controllable Image Completion by Incorporating Lexical
Semantics [111.47374576372813]
Lexical Semantic Image Completion (LSIC)は、芸術、デザイン、遺産保護に潜在的な応用をもたらす可能性がある。
視覚的文脈と語彙的文脈の両方に忠実な結果を生成することを提唱する。
LSICの大きな課題の1つは、ビジュアル・セマンティック・コンテキストの構造をモデル化し整合させることである。
論文 参考訳（メタデータ） (2020-02-29T16:54:21Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳（メタデータ） (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。