論文の概要: Token Homogenization under Positional Bias

• arxiv url: http://arxiv.org/abs/2508.17126v1
• Date: Sat, 23 Aug 2025 19:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.352553
• Title: Token Homogenization under Positional Bias
• Title（参考訳）: 位置バイアス下におけるトークン均質化
• Authors: Viacheslav Yusupov, Danil Maksimov, Ameliia Alaeva, Tatiana Zaitceva, Antipina Anna, Anna Vasileva, Chenlin Liu, Rayuth Chheng, Danil Sazanakov, Andrey Chetvergov, Alina Ermilova, Egor Shvetsov,
• Abstract要約: トークンは,特に極端位置に偏りがある場合,処理中に顕著さを系統的に失うことを示す。 本研究は,同種化の存在と位置注意機構への依存を裏付けるものである。
• 参考スコア（独自算出の注目度）: 0.599030278455209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates token homogenization - the convergence of token representations toward uniformity across transformer layers and its relationship to positional bias in large language models. We empirically examine whether homogenization occurs and how positional bias amplifies this effect. Through layer-wise similarity analysis and controlled experiments, we demonstrate that tokens systematically lose distinctiveness during processing, particularly when biased toward extremal positions. Our findings confirm both the existence of homogenization and its dependence on positional attention mechanisms.
• Abstract（参考訳）: 本稿では,トークンの均一性に対するトークン表現の収束と大規模言語モデルにおける位置バイアスとの関係について検討する。 均質化の発生と位置バイアスがどのような効果を増幅するかを実証的に検討する。 層単位での類似性解析と制御実験により,特に極端位置に偏った場合,トークンは処理中に系統的に識別性を喪失することを示した。 本研究は,同種化の存在と位置注意機構への依存の両方を裏付けるものである。

関連論文リスト

• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Token Sampling Uncertainty Does Not Explain Homogeneity Bias in Large Language Models [0.0]
  均質性バイアスは、平等な言語技術を作るための大きな障害である。 6つの大言語モデル間でトークンサンプリングの不確かさの体系的差異によってバイアスが引き起こされるかどうかを検証する。
  論文  参考訳（メタデータ） (2025-01-31T17:36:12Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Cavity-induced bifurcation in classical rate theory [0.0]
  双安定系のアンサンブルと共振器場との結合が、このアンサンブルの集合的挙動にどう影響するかを示す。 ポーラトニック化学では、キャビティの存在が化学反応に影響を与えることが示唆されている。
  論文  参考訳（メタデータ） (2022-02-24T16:36:48Z)
• Covariate Shift in High-Dimensional Random Feature Regression [44.13449065077103]
  共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。 現代の機械学習の文脈における理論的理解を示す。
  論文  参考訳（メタデータ） (2021-11-16T05:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。