論文の概要: SMIC: Shared Multiscale Input-Reference Conditioning across Transformer Layers for Natural Language Inference
- arxiv url: http://arxiv.org/abs/2611.16270v1
- Date: Thu, 12 Nov 2026 04:15:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.358755
- Title: SMIC: Shared Multiscale Input-Reference Conditioning across Transformer Layers for Natural Language Inference
- Title(参考訳): SMIC:自然言語推論のための変圧器層間のマルチスケール入力参照条件共有
- Abstract要約: 単一入力依存型マルチスケール参照を構築し,トランスフォーマー層間で再利用するSMIC(Shared Multiscale Input-Reference Conditioning)を導入する。
TCT-SMICは、3つのANLIラウンドで観測された平均10シードの精度が最も高い。
削除/挿入診断を事前訓練したModernBERTエンコーダとLlamaデコーダモデルに拡張する。
- 参考スコア(独自算出の注目度): 36.626239864471685
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Natural Language Inference models can be sensitive to localized lexical changes. We introduce Shared Multiscale Input-Reference Conditioning (SMIC), which constructs a single input-dependent multiscale reference and reuses it across Transformer layers. Each layer applies its own multiscale transformation to the shared reference and injects the resulting conditioning feature before the attention update. We instantiate SMIC in a token--context Transformer (TCT) and conduct from-scratch comparisons against decoder-based and Multi-Layer Perceptron (MLP) baselines across all three ANLI rounds. TCT-SMIC attains the highest observed ten-seed mean accuracy on all three ANLI rounds. The ablations further support the contribution of SMIC. We evaluate a real-valued Llama-style plug-in and extend deletion/insertion diagnostics to pretrained ModernBERT encoder and Llama decoder models with and without SMIC. Across the evaluated perturbation protocols, TCT-SMIC exhibits comparatively low pooled-attention redistribution and smaller signed accuracy changes. We further establish a finite-sample bound on average subset-mass redistribution in terms of the mean Jensen--Shannon divergence between the restricted and renormalized attention distributions.
- Abstract(参考訳): 自然言語推論モデルは局所的な語彙変化に敏感である。
単一入力依存型マルチスケール参照を構築し,トランスフォーマー層間で再利用するSMIC(Shared Multiscale Input-Reference Conditioning)を導入する。
各レイヤは共有参照に独自のマルチスケール変換を適用し、アテンション更新の前に結果のコンディショニング機能を注入する。
我々は,トークン-コンテキスト変換器(TCT)でSMICをインスタンス化し,デコーダベースとマルチ層パーセプトロン(MLP)の3ラウンドのベースラインに対してストクラッチ比較を行う。
TCT-SMICは、3つのANLIラウンドで観測された平均10シードの精度が最も高い。
この宣言はSMICの貢献をさらに支持している。
SMICを使用せずに,LlamaデコーダモデルとModernBERTエンコーダとLlamaデコーダモデルに,リアルに評価されたLlamaスタイルのプラグインを評価し,削除/挿入診断を拡張した。
評価された摂動プロトコル全体で、TCT-SMICは比較的低いプールアテンション再分配と符号付き精度の変化を示す。
さらに、制限された注意分布と再正規化された注意分布の間の平均Jensen-Shannon分散の観点から、平均部分質量再分配に基づく有限サンプル境界を確立する。
関連論文リスト
- MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs [75.68851107229308]
マルチモーダル大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。
各サンプルは、対象カテゴリ、属性、カウント、空間的位置の1つの原子的変化によって異なる画像対から構成される。
論文 参考訳(メタデータ) (2026-09-20T03:48:09Z) - Learning Mid-circuit Measurement Backaction from Three Repeated Measurements [1.3575182628079572]
単一量子ビットZ回転MCM機器を学習するための自己整合プロトコルを提案する。
この学習機器は従来の混乱行列モデルよりも$sim100times$でパウリ観測可能な予測を改善する。
提案プロトコルは,SPAM誤り分離,リセット最適化,ノイズ対応量子誤り訂正のためのコンパクトな特徴層を提供する。
論文 参考訳(メタデータ) (2026-05-29T23:47:39Z) - VISTA: Variance-Gated Inter-Sequence Test-Time Adaptation for Multi-Sequence MRI Segmentation [26.129902154272298]
VISTA(Variance-gated Inter-Sequence Test-Time Adaptation)は、モダリティ-インタラクションシフトに対処する、ソースフリーのフレームワークである。
我々は,CDPL(Cross-View Disagreement-Aware Pseudo Labeling)を導入し,自己学習を動的にゲートし,介入の一貫性を強制する。
論文 参考訳(メタデータ) (2026-05-17T12:57:29Z) - Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。
合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善
DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
論文 参考訳(メタデータ) (2026-02-03T23:38:05Z) - Learning Majority-to-Minority Transformations with MMD and Triplet Loss for Imbalanced Classification [0.5390869741300152]
教師付き分類におけるクラス不均衡は、多数派に対する予測をバイアスすることでモデル性能を低下させることが多い。
多数サンプルをマイノリティ分布にマッピングするパラメトリック変換を学習するオーバーサンプリングフレームワークを導入する。
提案手法は,グローバルアライメントのためのトランスフォーメーションと真のマイノリティサンプル間の平均最大誤差(MMD)を最小化する。
論文 参考訳(メタデータ) (2025-09-15T01:47:29Z) - Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。
本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。
本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
論文 参考訳(メタデータ) (2025-03-28T07:23:07Z) - CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement [5.766499647507758]
さらに、時間周波数(TF)領域における音声強調(SE)のためのコンバータベース計量生成逆ネットワーク(CMGAN)モデルを開発した。
以上の結果から,CMGANは3つの主要な音声強調課題において,既存の最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-09-22T15:50:21Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-09T10:55:27Z) - A Correspondence Variational Autoencoder for Unsupervised Acoustic Word
Embeddings [50.524054820564395]
そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。
結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
論文 参考訳(メタデータ) (2020-12-03T19:24:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。