Fugu-MT 論文翻訳(概要): Inducing Meaningful Units from Character Sequences with Slot Attention

論文の概要: Inducing Meaningful Units from Character Sequences with Slot Attention

arxiv url: http://arxiv.org/abs/2102.01223v1
Date: Mon, 1 Feb 2021 23:11:57 GMT
ステータス: 処理完了
システム内更新日: 2021-02-03 16:42:31.746009
Title: Inducing Meaningful Units from Character Sequences with Slot Attention
Title（参考訳）: スロットアテンションを有する文字系列から有意義な単位を誘導する
Authors: Melika Behjati and James Henderson
Abstract要約: 文字列の抽象的な意味を持つ単位を学習するための教師なし分布法を提案する。シーケンスをセグメント化するのではなく、このモデルはシーケンス内の「オブジェクト」の連続的な表現を発見する。我々の実験は、より高い抽象レベルで意味を捉える能力において有望な結果を示す。
参考スコア（独自算出の注目度）: 16.104939480850064
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Characters do not convey meaning, but sequences of characters do. We propose an unsupervised distributional method to learn the abstract meaning-bearing units in a sequence of characters. Rather than segmenting the sequence, this model discovers continuous representations of the "objects" in the sequence, using a recently proposed architecture for object discovery in images called Slot Attention. We train our model on different languages and evaluate the quality of the obtained representations with probing classifiers. Our experiments show promising results in the ability of our units to capture meaning at a higher level of abstraction.
Abstract（参考訳）: 文字は意味を伝えないが、文字の配列はそうである。抽象的意味保持単位を一連の文字で学習するための教師なし分布法を提案する。このモデルはシーケンスをセグメンテーションする代わりに、最近提案されたスロットアテンションと呼ばれる画像のオブジェクト発見のためのアーキテクチャを用いて、シーケンス内の"オブジェクト"の連続的な表現を検出する。我々は、異なる言語でモデルを訓練し、取得した表現の品質を分類器で評価する。我々の実験は、より高い抽象レベルで意味を捉える能力において有望な結果を示す。

関連論文リスト

Learned Visual Features to Textual Explanations [15.920420423789308]
本稿では,事前学習した画像分類器の学習特徴を解釈するために,大規模言語モデル(LLM)の機能を利用する新しい手法を提案する。提案手法は,与えられた画像の分類器によって学習された特徴を説明するために,膨大な数の文を生成する。提案手法は,視覚表現に対応する頻繁な単語を初めて利用し,意思決定プロセスに関する洞察を提供する。
論文参考訳（メタデータ） (2023-09-01T20:59:46Z)
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [69.85030245036391]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文参考訳（メタデータ） (2023-08-19T09:12:13Z)
Unsupervised Conditional Slot Attention for Object Centric Learning [42.55929553390295]
Slot Attentionのような最近のオブジェクト中心表現法は、特別なスロットレベルバインディングを達成できない。本稿では,新しい確率スロット辞書を用いた教師なし条件スロットアテンションを提案する。提案手法は,シーン合成機能と,構成的視覚的推論のショット適応性タスクにおいて,顕著な向上をもたらすことを示す。
論文参考訳（メタデータ） (2023-07-18T17:11:55Z)
Slot Order Matters for Compositional Scene Understanding [11.69144204466843]
固定順序でオブジェクトを生成する前にスロットをトレーニングするために補助的な損失を導入する。構成環境とアブリケーションに関する実験により,我々の大域的先行性,整列スロット順,補助的損失によるモデルが,最先端のサンプル品質を実現することを示した。
論文参考訳（メタデータ） (2022-06-03T02:41:59Z)
LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
論文参考訳（メタデータ） (2022-04-06T17:48:18Z)
Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文参考訳（メタデータ） (2021-10-31T16:15:09Z)
Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文参考訳（メタデータ） (2021-10-09T22:27:19Z)
Object-Centric Learning with Slot Attention [43.684193749891506]
我々は、知覚表現と相互作用するアーキテクチャコンポーネントであるSlot Attentionモジュールを提示する。 Slot Attentionは、スロットと呼ばれるタスク依存の抽象表現を生成します。 Slot Attentionがオブジェクト中心の表現を抽出し、未知の合成を一般化できることを実証的に実証する。
論文参考訳（メタデータ） (2020-06-26T15:31:57Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)
Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。