Fugu-MT 論文翻訳(概要): Inducing Meaningful Units from Character Sequences with Dynamic Capacity Slot Attention

論文の概要: Inducing Meaningful Units from Character Sequences with Dynamic Capacity Slot Attention

arxiv url: http://arxiv.org/abs/2102.01223v3
Date: Tue, 16 Jan 2024 11:50:49 GMT
ステータス: 処理完了
システム内更新日: 2024-01-18 22:39:06.972081
Title: Inducing Meaningful Units from Character Sequences with Dynamic Capacity Slot Attention
Title（参考訳）: 動的容量スロット注意による文字列からの意味単位の誘導
Authors: Melika Behjati and James Henderson
Abstract要約: 文字列の抽象的意味単位を学習するための教師なし分布法を提案する。シーケンスをセグメント化するのではなく、Dynamic Capacity Slot Attentionモデルは、シーケンス内のオブジェクトの連続的な表現を検出する。
参考スコア（独自算出の注目度）: 12.25208417841772
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Characters do not convey meaning, but sequences of characters do. We propose an unsupervised distributional method to learn the abstract meaningful units in a sequence of characters. Rather than segmenting the sequence, our Dynamic Capacity Slot Attention model discovers continuous representations of the objects in the sequence, extending an architecture for object discovery in images. We train our model on different languages and evaluate the quality of the obtained representations with forward and reverse probing classifiers. These experiments show that our model succeeds in discovering units which are similar to those proposed previously in form, content and level of abstraction, and which show promise for capturing meaningful information at a higher level of abstraction.
Abstract（参考訳）: 文字は意味を伝えないが、文字の配列はそうである。文字列の抽象的意味単位を学習するための教師なし分布法を提案する。シーケンスをセグメント化するのではなく、Dynamic Capacity Slot Attentionモデルは、シーケンス内のオブジェクトの連続的な表現を発見し、画像内のオブジェクト発見のためのアーキテクチャを拡張します。我々は、異なる言語でモデルを訓練し、得られた表現の品質を前方および逆探索分類器で評価する。これらの実験により,従来提案されていた概念や内容,抽象化レベルと類似した単位の発見に成功し,より高度な抽象化レベルで有意義な情報を取得することを約束することを示す。

関連論文リスト

Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences [51.965994405124455]
人間は異なるシーケンスで抽象パターンを学習し、無関係な詳細をフィルタリングする。多くのシーケンス学習モデルには抽象化能力がないため、メモリの非効率性や転送の低さにつながる。非パラメトリック階層型変数学習モデル(HVM)を導入し、シーケンスからチャンクを学習し、文脈的に類似したチャンクを変数として抽象化する。
論文参考訳（メタデータ） (2024-10-27T18:13:07Z)
CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2024-06-17T18:34:58Z)
How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
論文参考訳（メタデータ） (2024-03-11T23:08:29Z)
Explicitly Disentangled Representations in Object-Centric Learning [0.0]
本稿では, オブジェクト中心のモデルを, 密接な形状やテクスチャ成分に偏在させる新しいアーキテクチャを提案する。特に, オブジェクト中心のモデルを, 密接な形状やテクスチャ成分に偏在させる新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-01-18T17:22:11Z)
Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter [47.29967666846132]
生成テキストから画像への拡散モデルは非常に効率的なオープン語彙セマンティックセマンティックセマンティクスである。我々はDiffSegmenterという新しいトレーニング不要のアプローチを導入し、入力テキストに意味的に忠実な現実的なオブジェクトを生成する。 3つのベンチマークデータセットの大規模な実験により、提案したDiffSegmenterは、オープン語彙セマンティックセマンティックセグメンテーションの印象的な結果が得られることが示された。
論文参考訳（メタデータ） (2023-09-06T06:31:08Z)
Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文参考訳（メタデータ） (2021-10-31T16:15:09Z)
Saliency-driven Class Impressions for Feature Visualization of Deep Neural Networks [55.11806035788036]
分類に欠かせないと思われる特徴を視覚化することは有利である。既存の可視化手法は,背景特徴と前景特徴の両方からなる高信頼画像を生成する。本研究では,あるタスクにおいて最も重要であると考えられる識別的特徴を可視化するための,サリエンシ駆動型アプローチを提案する。
論文参考訳（メタデータ） (2020-07-31T06:11:06Z)
A Few-Shot Sequential Approach for Object Counting [63.82757025821265]
画像中のオブジェクトに逐次出席するクラスアテンション機構を導入し,それらの特徴を抽出する。提案手法は点レベルのアノテーションに基づいて訓練され,モデルのクラス依存的・クラス依存的側面を乱す新しい損失関数を用いる。本稿では,FSODやMS COCOなど,さまざまなオブジェクトカウント/検出データセットについて報告する。
論文参考訳（メタデータ） (2020-07-03T18:23:39Z)
Object-Centric Learning with Slot Attention [43.684193749891506]
我々は、知覚表現と相互作用するアーキテクチャコンポーネントであるSlot Attentionモジュールを提示する。 Slot Attentionは、スロットと呼ばれるタスク依存の抽象表現を生成します。 Slot Attentionがオブジェクト中心の表現を抽出し、未知の合成を一般化できることを実証的に実証する。
論文参考訳（メタデータ） (2020-06-26T15:31:57Z)
Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文参考訳（メタデータ） (2020-05-03T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。