論文の概要: I Have an Attention Bridge to Sell You: Generalization Capabilities of Modular Translation Architectures
- arxiv url: http://arxiv.org/abs/2404.17918v2
- Date: Tue, 30 Apr 2024 05:53:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 13:06:54.031052
- Title: I Have an Attention Bridge to Sell You: Generalization Capabilities of Modular Translation Architectures
- Title（参考訳）: I have antention Bridge to Sell You: Generalization Capability of Modular Translation Architectures
- Authors: Timothee Mickus, Raúl Vázquez, Joseph Attieh,
- Abstract要約: モジュール性は翻訳品質にどう影響するか、そしてモジュールアーキテクチャが様々な評価シナリオでいかに一般化するかについて検討する。
与えられた計算予算に対して、非モジュラーアーキテクチャは、我々が研究しているすべてのモジュラー設計と常に同等か好適である。
- 参考スコア（独自算出の注目度）: 3.0696094577634963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modularity is a paradigm of machine translation with the potential of bringing forth models that are large at training time and small during inference. Within this field of study, modular approaches, and in particular attention bridges, have been argued to improve the generalization capabilities of models by fostering language-independent representations. In the present paper, we study whether modularity affects translation quality; as well as how well modular architectures generalize across different evaluation scenarios. For a given computational budget, we find non-modular architectures to be always comparable or preferable to all modular designs we study.
- Abstract（参考訳）: モジュラリティ(Modularity)は機械翻訳のパラダイムであり、トレーニング時に大きく、推論時に小さくなるモデルを生み出す可能性を秘めている。
この研究分野において、モジュラーアプローチ、特に注意ブリッジは、言語に依存しない表現を育むことによってモデルの一般化能力を改善するために議論されてきた。
本稿では,モジュール性が翻訳品質にどのような影響を及ぼすか,また,モジュールアーキテクチャが様々な評価シナリオにまたがってどのように一般化されるかを検討する。
与えられた計算予算に対して、非モジュラーアーキテクチャは、我々が研究しているすべてのモジュラー設計と常に同等か好適である。
関連論文リスト
- Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。
また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
論文 参考訳（メタデータ） (2024-03-27T17:50:00Z) - Unlocking Emergent Modularity in Large Language Models [27.12431620957652]
標準言語モデル(LM)は、余分なパラメータを導入することなく、Mixture-of-Expert(MoEs)として微調整できることを示す。
実験により,細調整EMoEはバニラ微調整と比較して,下流領域と外部領域の一般化を効果的に改善することが示された。
論文 参考訳（メタデータ） (2023-10-17T01:02:32Z) - Modularity in Deep Learning: A Survey [0.0]
データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。
データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。
タスクのモジュール化はタスクをサブタスクに分解することを指す。
モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
論文 参考訳（メタデータ） (2023-10-02T12:41:34Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:57Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳（メタデータ） (2023-02-22T18:11:25Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:34:22Z) - Is a Modular Architecture Enough? [80.32451720642209]
我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。
モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
論文 参考訳（メタデータ） (2022-06-06T16:12:06Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳（メタデータ） (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。