Fugu-MT 論文翻訳(概要): Towards Equipping Transformer with the Ability of Systematic Compositionality

論文の概要: Towards Equipping Transformer with the Ability of Systematic Compositionality

arxiv url: http://arxiv.org/abs/2312.07280v1
Date: Tue, 12 Dec 2023 13:57:57 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 15:47:59.330041
Title: Towards Equipping Transformer with the Ability of Systematic Compositionality
Title（参考訳）: システム構成性を考慮した変圧器の取得に向けて
Authors: Chen Huang, Peixin Qin, Wenqiang Lei, Jiancheng Lv
Abstract要約: 本稿では,CATと呼ばれる構成性を考慮したトランスフォーマと,体系的な構成性を促進するための2つの新しい事前学習タスクを提案する。実験の結果、CATは、標準言語理解タスクに最小限の影響を伴い、構成性を考慮したタスクのベースラインよりも優れていた。
参考スコア（独自算出の注目度）: 28.776657540605452
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: One of the key factors in language productivity and human cognition is the ability of systematic compositionality, which refers to understanding composed unseen examples of seen primitives. However, recent evidence reveals that the Transformers have difficulty generalizing the composed context based on the seen primitives. To this end, we take the first step to propose a compositionality-aware Transformer called CAT and two novel pre-training tasks to facilitate systematic compositionality. We tentatively provide a successful implementation of a multi-layer CAT on the basis of the especially popular BERT. The experimental results demonstrate that CAT outperforms baselines on compositionality-aware tasks with minimal impact on the effectiveness on standardized language understanding tasks.
Abstract（参考訳）: 言語の生産性と人間の認知における重要な要素の1つは、体系的な構成性の能力である。しかし、近年の証拠は、トランスフォーマーが、見受けられるプリミティブに基づいて構成されたコンテキストを一般化することが困難であることを示している。そこで本研究では,cat と呼ばれる構成性認識変換器と2つの新しい事前学習タスクを提案する。本稿では,特に人気のあるBERTに基づいて,多層CATの実装を仮に実施する。実験結果から,CATは,標準言語理解タスクの有効性に最小限の影響を伴って,構成性を考慮したタスクのベースラインよりも優れていた。

関連論文リスト

Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文参考訳（メタデータ） (2024-07-05T14:29:44Z)
How Do Nonlinear Transformers Learn and Generalize in In-Context Learning? [82.51626700527837]
トランスフォーマーベースの大規模言語モデルでは、トレーニング済みのモデルが微調整なしで新しいタスクを処理できるような、コンテキスト内学習機能が印象的だった。我々は、TransformerがICLを実現する方法の仕組みが、Transformerにおけるトレーニング問題の技術的課題にどのように貢献するかを分析する。
論文参考訳（メタデータ） (2024-02-23T21:07:20Z)
Can LLM find the green circle? Investigation and Human-guided tool manipulation for compositional generalization [28.069928613367978]
大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて、多くのタスクにおいて印象的な一般化能力を示すサブクエストのためのツールを生成し,複数のツールを統合するヒューマンガイドツール操作フレームワーク(HTM)を提案する。実験の結果,提案手法は2つの構成一般化ベンチマークの最先端性能を達成し,既存の手法よりも70%高い性能を示した。
論文参考訳（メタデータ） (2023-12-12T22:11:17Z)
Compositional Capabilities of Autoregressive Transformers: A Study on Synthetic, Interpretable Tasks [23.516986266146855]
我々は合成データ生成プロセスで自己回帰変換器モデルを訓練する。自己回帰変換器は少量のトレーニングデータから構成構造を学習できることを示す。
論文参考訳（メタデータ） (2023-11-21T21:16:54Z)
Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments [20.70294450587676]
我々は、構成一般化を促進するために、言語の構文構造を利用する。マルチモーダルグラウンドリング問題における構文情報の利用のメリットを紹介し,評価する。その結果、マルチモーダルグラウンドリングとパラメータ効率のモデリングにおいて、最先端の技術を推し進めることができた。
論文参考訳（メタデータ） (2023-11-07T21:59:16Z)
Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文参考訳（メタデータ） (2023-05-23T16:47:22Z)
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks [6.525090891505941]
我々は、因果変換器が、コピー、ソート、階層的な構成を含む一連のアルゴリズムタスクを実行する方法を示す。両層変換器は多層問題に対する一般化可能な解法を学習し,系統的タスク分解の兆候を現示する。これらの結果は、トランスフォーマーモデルが複雑な決定を再利用可能なマルチレベルポリシーに分解する方法について、重要な洞察を与えてくれる。
論文参考訳（メタデータ） (2022-10-02T00:46:36Z)
CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal Pose [70.59906971581192]
本稿では,言語とAniMal Poseを効果的に接続するための,新しいプロンプトベースのコントラスト学習手法を提案する。 CLAMPは、ネットワークトレーニング中にテキストプロンプトを動物のキーポイントに適応させることでギャップを埋めようとしている。実験結果から, 教師付き, 少数ショット, ゼロショット設定下での最先端性能が得られた。
論文参考訳（メタデータ） (2022-06-23T14:51:42Z)
Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text [93.11954811297652]
我々は、モダリティ固有のトークン化器、共有トランスフォーマーエンコーダ、タスク固有の出力ヘッドからなる統一型トランスフォーマーを設計する。我々は、個別に訓練されたBERTモデルとViTモデルを教師として採用し、知識蒸留を適用して、より正確な監視信号を提供する。実験の結果、統合基盤変換器は視覚のみのタスクとテキストのみのタスクの両方で驚くほどうまく機能することがわかった。
論文参考訳（メタデータ） (2021-12-14T00:20:55Z)
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文参考訳（メタデータ） (2021-09-30T16:41:19Z)
Making Transformers Solve Compositional Tasks [0.6934179242586093]
いくつかの設計決定によってモデルに与えられる帰納バイアスが構成一般化に大きな影響を及ぼすことを示す。文献で報告されたよりもはるかに優れた構成を一般化するトランスフォーマー構成を同定する。
論文参考訳（メタデータ） (2021-08-09T22:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。