Fugu-MT 論文翻訳(概要): Machine learning for modular multiplication

論文の概要: Machine learning for modular multiplication

arxiv url: http://arxiv.org/abs/2402.19254v1
Date: Thu, 29 Feb 2024 15:26:03 GMT
ステータス: 処理完了
システム内更新日: 2024-03-01 14:25:53.384568
Title: Machine learning for modular multiplication
Title（参考訳）: モジュラ乗算のための機械学習
Authors: Kristin Lauter, Cathy Yuanchen Li, Krystal Maughan, Rachel Newton and Megha Srivastava
Abstract要約: モジュラー乗算に対する機械学習アプローチについて検討する。本稿では,モジュール型乗算における2つの機械学習手法について検討する。この結果から,両手法の限定的な成功は,暗号系を基盤とするモジュラ乗算に関わるタスクの難しさを証明している。
参考スコア（独自算出の注目度）: 4.280198639328323
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Motivated by cryptographic applications, we investigate two machine learning approaches to modular multiplication: namely circular regression and a sequence-to-sequence transformer model. The limited success of both methods demonstrated in our results gives evidence for the hardness of tasks involving modular multiplication upon which cryptosystems are based.
Abstract（参考訳）: 暗号応用に動機づけられ,モジュラ乗法に対する2つの機械学習手法,すなわち循環回帰法とシーケンシャル・ツー・シーケンストランスフォーマモデルについて検討した。その結果,両手法の限定的な成功は,暗号系を基盤とするモジュラー乗算を伴うタスクの難しさの証拠となる。

関連論文リスト

Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models [56.93608812478369]
本稿では,新たなPEFTモジュールのトレーニングを分離し,タスクの専門化を保証する手法であるL2Rを提案する。その後、L2Rは学習したモジュールを学習し、以前見たタスクの例を含む小さなメモリを利用するルータのネットワークをトレーニングする。その結果,L2RはPEFTモジュールの効率的な構成を提供し,他の手法と比較して一般化と性能が向上した。
論文参考訳（メタデータ） (2024-08-16T23:57:29Z)
Acceleration of Grokking in Learning Arithmetic Operations via Kolmogorov-Arnold Representation [3.7812707887425048]
本稿では,変圧器モデルによる算術二項演算の学習において発生するグルーキング現象に着目した。グラッキングを高速化する様々な伝達学習機構を提案する。
論文参考訳（メタデータ） (2024-05-26T18:29:24Z)
Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials [29.09237503747052]
モジュラー加算のグロキングは、変換器の三角形状のフーリエ表現とその計算回路を実装することが知られている。各操作でグラクされたモデル間の転送性は、特定の組み合わせに限られることを示す。マルチタスクの混合によってコグルーキングが発生し、すべてのタスクで同時にグルーキングが発生する。
論文参考訳（メタデータ） (2024-02-26T16:48:12Z)
Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文参考訳（メタデータ） (2024-02-09T07:18:06Z)
Towards Understanding How Transformers Learn In-context Through a Representation Learning Lens [9.590540796223715]
本稿では,表現学習のレンズを用いて,トランスフォーマーにおける文脈内学習プロセスについて検討する。注目層のICL推論プロセスは、その2重モデルのトレーニング手順と整合し、トークン表現予測を生成する。理論的結論は、1つのトランスフォーマー層と複数の注意層を含む、より複雑なシナリオにまで拡張します。
論文参考訳（メタデータ） (2023-10-20T01:55:34Z)
Recasting Continual Learning as Sequence Modeling [44.437160324905726]
本稿では,連続学習をシーケンスモデリング問題として定式化することを提案する。メタ連続学習(MCL)フレームワークを採用することで、メタレベルでシーケンスモデルをトレーニングすることができる。分類と回帰の両方を網羅した7つのベンチマーク実験により、シーケンスモデルが一般的なMCLにとって魅力的な解であることを示す。
論文参考訳（メタデータ） (2023-10-18T13:26:52Z)
Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
マルチモーダル・ファンデーション・モデルは目覚ましい一般化性を示したが規模が大きいため展開に挑戦する規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
論文参考訳（メタデータ） (2023-10-06T19:24:00Z)
An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-30T15:57:14Z)
Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文参考訳（メタデータ） (2023-02-22T18:11:25Z)
Abelian Neural Networks [48.52497085313911]
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。連想対称の特徴づけを用いて、アベリア半群演算に拡張する。固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
論文参考訳（メタデータ） (2021-02-24T11:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。