Fugu-MT 論文翻訳(概要): Characterizing stable regions in the residual stream of LLMs

論文の概要: Characterizing stable regions in the residual stream of LLMs

arxiv url: http://arxiv.org/abs/2409.17113v3
Date: Thu, 07 Nov 2024 13:55:50 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-09 00:48:45.802561
Title: Characterizing stable regions in the residual stream of LLMs
Title（参考訳）: LLMの残留流における安定領域の特性
Authors: Jett Janiak, Jacek Karwowski, Chatrik Singh Mangat, Giorgi Giglemiani, Nora Petrova, Stefan Heimersheim,
Abstract要約: モデル出力が小さいアクティベーション変化に敏感なままであるトランスフォーマーの残ストリーム内の安定領域を同定する。これらの領域はトレーニング中に出現し、トレーニングの進行やモデルサイズの増加に伴ってより定義される。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We identify stable regions in the residual stream of Transformers, where the model's output remains insensitive to small activation changes, but exhibits high sensitivity at region boundaries. These regions emerge during training and become more defined as training progresses or model size increases. The regions appear to be much larger than previously studied polytopes. Our analysis suggests that these stable regions align with semantic distinctions, where similar prompts cluster within regions, and activations from the same region lead to similar next token predictions. This work provides a promising research direction for understanding the complexity of neural networks, shedding light on training dynamics, and advancing interpretability.
Abstract（参考訳）: モデルの出力が小さな活性化変化に敏感でありながら、領域境界において高い感度を示すトランスフォーマーの残ストリーム内の安定領域を同定する。これらの領域はトレーニング中に出現し、トレーニングの進行やモデルサイズの増加に伴ってより定義される。この領域は以前研究されたポリトープよりもずっと大きいようである。解析の結果、これらの安定な領域は、類似の領域内のクラスタを誘導する意味的区別と一致し、同一領域からのアクティベーションは、同様の次のトークン予測をもたらすことが示唆された。この研究は、ニューラルネットワークの複雑さを理解し、トレーニングダイナミクスに光を流し、解釈可能性を向上させるための有望な研究方向を提供する。

関連論文リスト

Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。本提案では,ガウス分布を用いた地域表現をモデル化する。
論文参考訳（メタデータ） (2024-03-15T12:41:30Z)
Structure of activity in multiregion recurrent neural networks [2.1756081703276]
複数の相互接続領域を持つニューラルネットワークのダイナミクスについて検討する。各領域内では、ニューロンはランダムなリカレント接続と構造化されたリカレント接続の組み合わせを持つ。地域内の活動の複雑さに対処するためには,他の地域への信号のルーティングが不可欠であることを示す。
論文参考訳（メタデータ） (2024-02-19T14:51:55Z)
Hard Region Aware Network for Remote Sensing Change Detection [44.269913858088614]
変化検出(CD)は、都市管理や災害評価など、様々な現実世界の応用に不可欠である。本稿では,ハード領域マイニングによる高精度な変化マップを提供するHRANetと呼ばれる新しい変化検出ネットワークを提案する。
論文参考訳（メタデータ） (2023-05-31T02:52:38Z)
Analyzing the Domain Shift Immunity of Deep Homography Estimation [1.4607247979144045]
CNNによるホモグラフィー推定モデルは、ドメインシフトに対する特異な免疫性を示す。本研究は,ドメインシフトに対する様々な深層ホモグラフィ推定モデルのレジリエンスについて検討する。
論文参考訳（メタデータ） (2023-04-19T21:28:31Z)
Understanding the Evolution of Linear Regions in Deep Reinforcement Learning [21.53394095184201]
深部強化学習において,観測された地域数とその密度がどのように進化するかを考察した。最終方針から得られる固定軌跡に沿って測定した結果, 地域密度はトレーニングを通じて中程度に増大することがわかった。以上の結果から, 深層強化学習政策の複雑さは, この政策の軌道上および前後で観察される関数の複雑さの顕著な増加から生じるものではないことが示唆された。
論文参考訳（メタデータ） (2022-10-24T21:22:12Z)
Region Rebalance for Long-Tailed Semantic Segmentation [89.84860341946283]
まず、ピクセル再バランスによってこの問題に対処する主な課題を調査し、特定する。そして,本分析に基づいて,単純かつ効果的な領域再バランス方式を導出する。提案された領域再均衡スキームでは、最先端のBEiTはADE20K val集合上のmIoUで+0.7%上昇する。
論文参考訳（メタデータ） (2022-04-05T03:47:47Z)
Region-Based Semantic Factorization in GANs [67.90498535507106]
本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2022-02-19T17:46:02Z)
Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
論文参考訳（メタデータ） (2022-02-09T18:56:41Z)
What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文参考訳（メタデータ） (2021-06-08T08:58:00Z)
Adaptive Region-Based Active Learning [57.78835999208091]
入力空間を有限個の領域に適応的に分割する新しい能動学習アルゴリズムを提案する。本稿では,アルゴリズムの一般化誤差とラベル複雑性の両立を理論的に保証する。いくつかの実世界のデータセットに対する広範な実験結果について報告する。
論文参考訳（メタデータ） (2020-02-18T03:16:36Z)
Empirical Studies on the Properties of Linear Regions in Deep Neural Networks [34.08593191989188]
分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。これらの領域の数はDNNの表現力を表すと考えられている。本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
論文参考訳（メタデータ） (2020-01-04T12:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。