Fugu-MT 論文翻訳(概要): Banyan: Improved Representation Learning with Explicit Structure

論文の概要: Banyan: Improved Representation Learning with Explicit Structure

arxiv url: http://arxiv.org/abs/2407.17771v2
Date: Fri, 31 Jan 2025 13:51:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-03 13:59:15.248841
Title: Banyan: Improved Representation Learning with Explicit Structure
Title（参考訳）: Banyan: 明示的な構造による表現学習の改善
Authors: Mattia Opper, N. Siddharth,
Abstract要約: 明示的な階層構造を利用して意味表現を効率的に学習するモデルであるBanyanを提案する。リソース制約のある環境での効率よく解釈可能なNLPの可能性を強調している。
参考スコア（独自算出の注目度）: 4.4044968357361745
License:
Abstract: We present Banyan, a model that efficiently learns semantic representations by leveraging explicit hierarchical structure. While transformers excel at scale, they struggle in low-resource settings. Conversely recent structured models have shown promise as efficient learners, but lack performance. Banyan bridges this gap with two key innovations: an entangled hierarchical tree structure and diagonalized message passing, enabling it to outperform larger transformer models with just 14 non-embedding parameters. It excels in low-resource settings, offering a viable alternative for under-represented languages and highlighting its potential for efficient, interpretable NLP in resource-constrained environments.
Abstract（参考訳）: 明示的な階層構造を利用して意味表現を効率的に学習するモデルであるBanyanを提案する。トランスフォーマーは大規模に優れているが、低リソース環境では苦労している。逆に、最近の構造化モデルは、効率的な学習者としての約束を示すが、性能は欠落している。 Banyan氏はこのギャップを2つの重要なイノベーションで埋める: 絡み合った階層木構造と対角化メッセージパッシング。リソース制約のある環境での効率よく解釈可能なNLPの可能性を強調している。

関連論文リスト

GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
論文参考訳（メタデータ） (2024-06-04T15:09:29Z)
Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文参考訳（メタデータ） (2023-06-20T03:00:22Z)
Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
論文参考訳（メタデータ） (2022-09-08T14:12:15Z)
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文参考訳（メタデータ） (2022-08-11T22:42:24Z)
Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
論文参考訳（メタデータ） (2021-10-25T19:26:29Z)
Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。依存関係情報を言語誘導型注意機構に処理する。言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文参考訳（メタデータ） (2021-09-23T08:13:35Z)
GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文参考訳（メタデータ） (2021-06-10T15:41:53Z)
A Hierarchical Transformer for Unsupervised Parsing [0.0]
階層的な表現を学習できるようにすることで、トランスモデルを拡張します。言語モデリングの新しいモデルをトレーニングし、教師なし構文解析のタスクに適用する。我々は、約50%のF1スコアで、WSJ10データセットの無償サブセットに対して妥当な結果を得る。
論文参考訳（メタデータ） (2020-03-30T22:07:22Z)
Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
論文参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。