論文の概要: Seeing Both the Forest and the Trees: Multi-head Attention for Joint
Classification on Different Compositional Levels
- arxiv url: http://arxiv.org/abs/2011.00470v1
- Date: Sun, 1 Nov 2020 10:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 23:21:06.979136
- Title: Seeing Both the Forest and the Trees: Multi-head Attention for Joint
Classification on Different Compositional Levels
- Title（参考訳）: 森林と樹木の双方を観察する:多面的注意 : 構成レベルの違いによる共同分類
- Authors: Miruna Pislar and Marek Rei
- Abstract要約: 自然言語では、単語は関連して文を構成するために使用される。
より低い言語的コンポーネントと高い言語的コンポーネントを明確に結び付けるディープニューラルネットワークアーキテクチャを設計する。
我々のモデルであるMHALは、異なるレベルの粒度でそれらを同時に解くことを学習していることを示す。
- 参考スコア（独自算出の注目度）: 15.453888735879525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In natural languages, words are used in association to construct sentences.
It is not words in isolation, but the appropriate combination of hierarchical
structures that conveys the meaning of the whole sentence. Neural networks can
capture expressive language features; however, insights into the link between
words and sentences are difficult to acquire automatically. In this work, we
design a deep neural network architecture that explicitly wires lower and
higher linguistic components; we then evaluate its ability to perform the same
task at different hierarchical levels. Settling on broad text classification
tasks, we show that our model, MHAL, learns to simultaneously solve them at
different levels of granularity by fluidly transferring knowledge between
hierarchies. Using a multi-head attention mechanism to tie the representations
between single words and full sentences, MHAL systematically outperforms
equivalent models that are not incentivized towards developing compositional
representations. Moreover, we demonstrate that, with the proposed architecture,
the sentence information flows naturally to individual words, allowing the
model to behave like a sequence labeller (which is a lower, word-level task)
even without any word supervision, in a zero-shot fashion.
- Abstract（参考訳）: 自然言語では、単語は関連づけて文を構成する。
独立した言葉ではなく、文全体の意味を伝える階層構造の適切な組み合わせである。
ニューラルネットワークは表現力のある言語の特徴を捉えることができるが、単語と文のリンクに対する洞察は自動獲得が難しい。
本研究では,低次言語的要素と高次言語的要素を明示的に関連付けるディープニューラルネットワークアーキテクチャを設計し,異なる階層レベルで同じタスクを実行する能力を評価する。
広義のテキスト分類タスクに落ち着くことで,我々のモデルであるmhalは階層間の知識を流動的に伝達することによって,異なる粒度で同時に解くことを学ぶ。
単文と全文の表現を結びつけるマルチヘッドアテンション機構を用いることで、mhalは構成表現の開発にインセンティブを与えない等価モデルを体系的に上回っている。
さらに,提案するアーキテクチャでは,文情報は個々の単語に自然に流れるので,ゼロショット方式で,単語の監督がなくても,モデルがシーケンスラベラーのように振る舞うことができることを示す。
関連論文リスト
- Decoding Probing: Revealing Internal Linguistic Structures in Neural Language Models using Minimal Pairs [0.873811641236639]
本稿では,ニューラルネットワークモデル層の内部言語特性を層単位で探索する新しい復号探索手法を提案する。
言語モデルを脳として扱い、その表現をニューラルアクティベーションとして扱うことにより、中間層の表現から最小対の文法ラベルをデコードする。
論文 参考訳（メタデータ） (2024-03-26T00:56:06Z) - Contextualized word senses: from attention to compositionality [0.10878040851637999]
本稿では,文脈感覚を符号化する透過的,解釈可能,言語的に動機づけられた戦略を提案する。
特に依存関係や選択選好やパラダイムクラスといった意味概念に注意が向けられる。
論文 参考訳（メタデータ） (2023-12-01T16:04:00Z) - From Characters to Words: Hierarchical Pre-trained Language Model for
Open-vocabulary Language Understanding [22.390804161191635]
自然言語理解のための現在の最先端モデルは、原文を離散トークンに変換するための前処理ステップを必要とする。
トークン化として知られるこのプロセスは、事前に構築された単語またはサブワード形態素の語彙に依存している。
階層的な2段階のアプローチを採用する新しいオープン語彙言語モデルを導入する。
論文 参考訳（メタデータ） (2023-05-23T23:22:20Z) - A Multi-Grained Self-Interpretable Symbolic-Neural Model For
Single/Multi-Labeled Text Classification [29.075766631810595]
本稿では,テキストのクラスラベルを選挙区木から明示的に予測するシンボリック・ニューラルモデルを提案する。
構造化言語モデルが自己教師型で選挙区木を予測することを学ぶと、訓練データとして、原文と文レベルのラベルしか必要としない。
実験により,下流タスクにおける予測精度が向上できることが実証された。
論文 参考訳（メタデータ） (2023-03-06T03:25:43Z) - Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language
Understanding [51.31622274823167]
本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。
これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
論文 参考訳（メタデータ） (2022-08-19T02:46:20Z) - Compositional Generalization in Grounded Language Learning via Induced
Model Sparsity [81.38804205212425]
グリッド環境における単純な言語条件のナビゲーション問題について考察する。
本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。
我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
論文 参考訳（メタデータ） (2022-07-06T08:46:27Z) - Unsupervised Learning of Hierarchical Conversation Structure [50.29889385593043]
ゴール指向の会話は、しばしば意味のあるサブ対話構造を持つが、ドメインに依存しやすい。
この研究は、ターンやサブダイアログのセグメントラベルを含む階層的な会話構造を学習するための教師なしのアプローチを導入する。
復号化構造は3つの会話レベル理解タスクのための言語ニューラルネットワークの強化に有用であることが示されている。
論文 参考訳（メタデータ） (2022-05-24T17:52:34Z) - Building a visual semantics aware object hierarchy [0.0]
視覚的意味論を意識したオブジェクト階層を構築するための新しい教師なし手法を提案する。
この論文の直感は、概念が階層的に組織化されている現実世界の知識表現から来ています。
評価は2つの部分から構成され、まず、構築された階層をオブジェクト認識タスクに適用し、その上で、視覚的階層と既存の語彙階層を比較して、提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-02-26T00:10:21Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Unifying Vision-and-Language Tasks via Text Generation [81.3910771082967]
一つのアーキテクチャで異なるタスクを学習する統合フレームワークを提案する。
我々のモデルは、視覚的およびテキスト的入力に基づいて、テキストでラベルを生成することを学習する。
我々の生成的アプローチは、稀な答えを持つ質問に答える上で、より優れた一般化能力を示す。
論文 参考訳（メタデータ） (2021-02-04T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。