Fugu-MT 論文翻訳(概要): PLS in the Mirror of Self-Attention

論文の概要: PLS in the Mirror of Self-Attention

arxiv url: http://arxiv.org/abs/2605.28592v1
Date: Wed, 27 May 2026 15:11:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-28 17:38:56.147649
Title: PLS in the Mirror of Self-Attention
Title（参考訳）: 自己注意鏡におけるPLS
Authors: Jiangsheng, You,
Abstract要約: このノートは、線形化された自己注意として部分最小二乗(PLS)を鋳造することに関する興味深い観察を提供する。一方, PLSにおける予測器の次元化と選択は, 学習改善に向けて, 自己意識が一定の次元正規化の度合いを含むことを示唆している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: This note provides an interesting observation on casting partial least square (PLS) as a linearized self-attention so that PLS may be studied within the neural network paradigm. On the other hand, the dimensionality reduction and selection of predictors in PLS may indicate that self-attention includes certain degree of dimensionality normalization toward improved learning.
Abstract（参考訳）: このノートは、PLSがニューラルネットワークパラダイム内で研究されるように線形化された自己アテンションとして、部分最小二乗(PLS)を鋳造することに関する興味深い観察を提供する。一方, PLSにおける予測器の次元化と選択は, 学習改善に向けて, 自己意識が一定の次元正規化の度合いを含むことを示唆している。

関連論文リスト

Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
論文参考訳（メタデータ） (2026-05-06T13:08:12Z)
Meta-Representational Predictive Coding: Biomimetic Self-Supervised Learning [51.22185316175418]
メタ表現予測符号化(MPC)と呼ばれる新しい予測符号化方式を提案する。 MPCは、並列ストリームにまたがる感覚入力の表現を予測することを学ぶことによって、感覚入力の生成モデルを学ぶ必要性を助長する。
論文参考訳（メタデータ） (2025-03-22T22:13:14Z)
Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
論文参考訳（メタデータ） (2024-11-10T16:09:47Z)
Learning predictable and robust neural representations by straightening image sequences [16.504807843249196]
我々は、ストレートニングを明確に定量化し、促進する自己教師型学習(SSL)の目標を開発する。本研究では、この目的が、スムーズにレンダリングされた合成画像シーケンス上で、ディープフィードフォワードニューラルネットワークをトレーニングする際の効果を実証する。
論文参考訳（メタデータ） (2024-11-04T03:58:09Z)
Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文参考訳（メタデータ） (2024-08-20T15:04:37Z)
Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
論文参考訳（メタデータ） (2023-10-08T16:16:21Z)
Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文参考訳（メタデータ） (2023-08-19T08:17:41Z)
Towards the Sparseness of Projection Head in Self-Supervised Learning [13.308675583018756]
投影ヘッドの内部機構と次元崩壊現象との関係について考察した。 SparseHead - プロジェクションヘッドの空間性を効果的に制限し、自己教師付き学習(SSL)アプローチとシームレスに統合できる正規化用語である。
論文参考訳（メタデータ） (2023-07-18T01:16:23Z)
SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-25T14:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。