Fugu-MT 論文翻訳(概要): It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention

論文の概要: It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention

arxiv url: http://arxiv.org/abs/2609.09085v1
Date: Tue, 08 Sep 2026 17:32:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-11 14:54:45.657856
Title: It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention
Title（参考訳）: シンクを作るのはRoPEではない - 意識における自己集中とバリューノンミキシングの役割
Abstract要約: 大規模言語モデル(LLM)は、しばしば「注意シンク」(AS)と付随する「主活動」(MA)をシーケンスの初期位置で示す。トークンの占有の有無に関わらず,初期位置で出現するASとMAの背景となる要因を解析する。本実験は, 因果マスクによる自己集中と, その後の注意出力の値非混合がASとMAに寄与することが示唆された。
参考スコア（独自算出の注目度）: 13.912622084285493
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) often exhibit "Attention Sink" (AS) and the accompanying "Massive Activations" (MAs) at the initial position of a sequence. These phenomena frequently co-occur, and MAs can pose challenges for low-bit quantization. In this study, we analyze the factors underlying AS and MAs that emerge at the initial position regardless of the token occupying it. Our experiments suggest that self-concentration of attention, resulting from the causal mask, and the subsequent Value-non-mixing in attention outputs contribute to AS and MAs. These findings provide new empirical evidence on the internal dynamics of LLMs, offering insights that may inform future quantization strategies and advance our understanding of the internal mechanisms of attention layers.
Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば「注意シンク」(AS)と付随する「主活動」(MA)をシーケンスの初期位置で示す。これらの現象はしばしば共起し、MAは低ビット量子化に挑戦する。本研究では, トークンの占有の有無に関わらず, 初期位置で出現するASとMAの要因を解析した。本実験は, 因果マスクによる自己集中と, その後の注意出力の値非混合がASとMAに寄与することが示唆された。これらの知見は, LLMの内部力学に関する新たな実証的証拠を提供し, 今後の量子化戦略を示唆し, 注意層の内部メカニズムの理解を深めるための洞察を提供する。

関連論文リスト

CoSToM:Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models [23.229692182223157]
心の理論 (Theory of Mind, ToM) とは、心の状態を他人に説明できる能力である。 LLMは標準のToMベンチマークで有望なパフォーマンスを示す。 LLMは複雑なタスク固有のシナリオへの一般化に失敗することが多い。
論文参考訳（メタデータ） (2026-04-11T05:04:37Z)
Revealing the Attention Floating Mechanism in Masked Diffusion Models [52.74142815156738]
マスク付き拡散モデル(MDMs)は、双方向の注意とデノナイジングプロセスを活用する。本稿では,MDMにおける注意行動について検討し,注意浮動現象を明らかにした。
論文参考訳（メタデータ） (2026-01-12T09:10:05Z)
Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
論文参考訳（メタデータ） (2025-09-28T15:13:38Z)
Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文参考訳（メタデータ） (2025-09-26T14:39:13Z)
Quantifying Self-Awareness of Knowledge in Large Language Models [19.886013407039517]
大きな言語モデルにおける幻覚予測は、しばしば自己認識の兆候として解釈される。このようなパフォーマンスは、真のモデル側イントロスペクションではなく、質問側ショートカットから生じる可能性がある、と我々は主張する。モデル側信号の利用を促進させるSCAOを導入する。
論文参考訳（メタデータ） (2025-09-18T18:29:14Z)
Unveiling Super Experts in Mixture-of-Experts Large Language Models [5.36587814108884]
わずかに活性化されたMixture-of-Experts(MoE)モデルは、大規模言語モデル(LLM)の学習能力を高めることを約束している。本稿では,モデルの前方推論において,基礎となるメカニズムにおいて重要な役割を担っている専門家の別個のサブセットを初めて発見・調査する。以上の結果から,MoE LLMはSEsに頼って注意シンクを誘導し,注意点の分布に欠かせないが,SEプルーニングによって著しく破壊されることが明らかとなった。
論文参考訳（メタデータ） (2025-07-31T06:35:33Z)
Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
論文参考訳（メタデータ） (2025-04-14T10:06:27Z)
How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文参考訳（メタデータ） (2025-04-10T16:14:55Z)
Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
論文参考訳（メタデータ） (2025-03-14T07:46:33Z)
Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。極端トーケン現象のメカニズムを解明する。
論文参考訳（メタデータ） (2024-10-17T17:54:06Z)
Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [77.72128397088409]
本研究は,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。また,モデルが積極的に複合推論を行うように促す新しい強化学習パラダイムを提案する。
論文参考訳（メタデータ） (2024-04-19T15:53:27Z)
Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
論文参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。