論文の概要: Measure-to-measure interpolation using Transformers

• arxiv url: http://arxiv.org/abs/2411.04551v1
• Date: Thu, 07 Nov 2024 09:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:31.823955
• Title: Measure-to-measure interpolation using Transformers
• Title（参考訳）: 変圧器を用いた計測と測定の補間
• Authors: Borjan Geshkovski, Philippe Rigollet, Domènec Ruiz-Balet,
• Abstract要約: トランスフォーマーは、大規模言語モデルの最近の成功を支えるディープニューラルネットワークアーキテクチャである。 トランスフォーマーは、単位球上の特定の相互作用粒子系として実装された測度から測度マップとして機能する。 パラメータを明示的に選択することで、1つのTransformerが$N$任意の入力測度を$N$任意のターゲット測度にマッチさせることができる。
• 参考スコア（独自算出の注目度）: 6.13239149235581
• License:
• Abstract: Transformers are deep neural network architectures that underpin the recent successes of large language models. Unlike more classical architectures that can be viewed as point-to-point maps, a Transformer acts as a measure-to-measure map implemented as specific interacting particle system on the unit sphere: the input is the empirical measure of tokens in a prompt and its evolution is governed by the continuity equation. In fact, Transformers are not limited to empirical measures and can in principle process any input measure. As the nature of data processed by Transformers is expanding rapidly, it is important to investigate their expressive power as maps from an arbitrary measure to another arbitrary measure. To that end, we provide an explicit choice of parameters that allows a single Transformer to match $N$ arbitrary input measures to $N$ arbitrary target measures, under the minimal assumption that every pair of input-target measures can be matched by some transport map.
• Abstract（参考訳）: トランスフォーマーは、大規模言語モデルの最近の成功を支えるディープニューラルネットワークアーキテクチャである。 点対点写像と見なせる他の古典的アーキテクチャとは異なり、トランスフォーマーは単位球面上の特定の相互作用粒子系として実装された測度対測度写像として機能し、入力はプロンプト内のトークンの実証測度であり、その進化は連続性方程式によって制御される。 実際、トランスフォーマーは経験的測度に限らず、原則として任意の入力測度を処理できる。 トランスフォーマーによって処理されるデータの性質が急速に拡大しているため、任意の測度から別の任意の測度への写像としての表現力を調べることが重要である。 この目的のために、1つのトランスフォーマーが任意の入力測度を$N$の任意の目標測度にマッチさせることができるパラメータを明示的に選択する。

関連論文リスト

• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Transformer-Based Neural Surrogate for Link-Level Path Loss Prediction from Variable-Sized Maps [11.327456466796681]
  送信機と受信機の位置に対する経路損失の推定は、ネットワーク計画やハンドオーバを含む多くのユースケースにおいて重要である。 本稿では,様々な次元の地図やスパース測定からリンクレベルの特性を予測できるトランスフォーマーベースのニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-06T20:17:40Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Explainable Graph Theory-Based Identification of Meter-Transformer Mapping [6.18054021053899]
  分散エネルギー資源は環境に良いが、分散グリッドのトランスフォーマーオーバーロードを引き起こす可能性がある。 課題は2つの一般的なシナリオに対するメートル変換器(M.T.)マッピングの回復である。
  論文  参考訳（メタデータ） (2022-05-19T21:47:07Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Multimodality Biomedical Image Registration using Free Point Transformer Networks [0.37501702548174964]
  本稿では,新しい自由点変換器(FPT)ネットワークに基づく点集合登録アルゴリズムについて述べる。 FPTは、大域的特徴抽出器で構築され、未順序のソースと可変サイズのターゲットポイントセットを受け入れる。 前立腺MRIとスパース取得超音波画像を用いたマルチモーダル登録タスクにおいて、FPTは同等または改善された結果を得る。
  論文  参考訳（メタデータ） (2020-08-05T00:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。