論文の概要: Rethinking Contextualization by Reinterpreting Attention Head Channels

• arxiv url: http://arxiv.org/abs/2609.33851v1
• Date: Sun, 27 Sep 2026 19:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:16:51.066483
• Title: Rethinking Contextualization by Reinterpreting Attention Head Channels
• Title（参考訳）: アテンションヘッドチャネルの再解釈による文脈化の再考
• Abstract要約: 我々は、個別の辞書として個々の単語と注意頭に焦点を当て、文脈化を研究する。 異なる単語は異なる量の情報を持ち、表現力の低い単語はより文脈的な情報を吸収する傾向にある。
• 参考スコア（独自算出の注目度）: 32.42899953576069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextualization, the core operation of language modeling, transmits information across words to build sentence-specific word representations. Prior works mainly study contextualization, focusing on individual words and attention heads as a growing discrete dictionary, lacking a global view of their general behavior. Therefore, we propose a general principle: Globally, we find and estimate that different words carry different amounts of information, and less-informative words tend to absorb more contextual information. Specifically, these low-information words do not absorb contextual words uniformly, and finer-grained selectivity enables more precise routing to promote information transmission between matched words. Moreover, to find what mechanism causes such processing, we reinterpret attention heads as channels gated by their singular vectors and find that: (1) these singular vectors point to the hidden states of more informative words, allowing such words to write their information to others more strongly to act as information sources, and vice versa; and (2) these singular vectors can be viewed equally as hidden state features, enabling automated interpretation of attention heads beyond prior heuristic head discovery, also embedding heads into a continuous space rather than treating them as discrete, independent dictionary entries.
• Abstract（参考訳）: 言語モデリングのコア操作である文脈化(Contextualization)は、単語間で情報を伝達し、文固有の単語表現を構築する。 先行研究は主に文脈化の研究であり、個々の単語と注目の頭文字を、その一般的な行動のグローバルな見方を欠いた、成長する離散辞書として重視している。 グローバルに、異なる単語が異なる量の情報を持ち、より表現力の低い単語がより文脈的な情報を吸収する傾向があることを発見し、推定する。 具体的には、これらの低情報語は文脈的単語を均一に吸収せず、よりきめ細かい選択性によって、一致した単語間の情報伝達を促進することができる。 これらの特異ベクトルは、情報ソースとして振る舞うために、より強く他人に情報を書けるようにし、またその逆も同様に隠れた状態の特徴として見ることができ、また、これらの特異ベクトルは、前回のヒューリスティックな頭部発見以上の注意ヘッドの自動解釈を可能にし、また、それらを独立した独立した辞書エントリとして扱うのではなく、連続した空間にヘッドを埋め込むことができる。

関連論文リスト

• Headlines You Won't Forget: Can Pronoun Insertion Increase Memorability? [2.2672506866861695]
  本研究では,特定の言語的特徴,すなわち1人称代名詞と2人称代名詞による直接アドレスが記憶可能性にどのように影響するかを検討する。 合計240名の暗記実験を3回行った結果,代名詞挿入が暗記性に混ざった影響があることが判明した。
  論文  参考訳（メタデータ） (2026-04-21T07:58:03Z)
• The time scale of redundancy between prosody and linguistic context [22.04241078302997]
  単語の韻律的特徴は、拡張された過去の文脈を確実に予測する必要がある。 また、単語の韻律的特徴は、将来の単語と多少の冗長性を示すが、1-2ワードの短いスケールしか持たない。
  論文  参考訳（メタデータ） (2025-03-14T17:48:23Z)
• Quantifying the redundancy between prosody and text [67.07817268372743]
  我々は大きな言語モデルを用いて、韻律と単語自体の間にどれだけの情報が冗長であるかを推定する。 単語が持つ情報と韻律情報の間には,複数の韻律的特徴にまたがる高い冗長性が存在する。 それでも、韻律的特徴はテキストから完全には予測できないことが観察され、韻律は単語の上下に情報を運ぶことが示唆された。
  論文  参考訳（メタデータ） (2023-11-28T21:15:24Z)
• Towards Open Vocabulary Learning: A Survey [146.90188069113213]
  ディープニューラルネットワークは,セグメンテーションやトラッキング,検出といった,さまざまなコアタスクにおいて,目覚ましい進歩を遂げている。 近年、視覚言語事前学習の急速な進歩により、オープンな語彙設定が提案されている。 本稿では,その分野における最近の発展を要約し分析し,オープンな語彙学習の徹底的なレビューを行う。
  論文  参考訳（メタデータ） (2023-06-28T02:33:06Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• Disambiguatory Signals are Stronger in Word-initial Positions [48.18148856974974]
  単語の初期と後期のセグメントの情報を比較するための既存の手法の相違点を指摘する。 何百もの言語にまたがって、言葉で情報を読み込むという言語横断的な傾向があるという証拠が見つかりました。
  論文  参考訳（メタデータ） (2021-02-03T18:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。