Fugu-MT 論文翻訳(概要): Characterizing stable regions in the residual stream of LLMs

論文の概要: Characterizing stable regions in the residual stream of LLMs

arxiv url: http://arxiv.org/abs/2409.17113v4
Date: Mon, 18 Nov 2024 10:32:32 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-19 14:28:35.131083
Title: Characterizing stable regions in the residual stream of LLMs
Title（参考訳）: LLMの残留流における安定領域の特性
Authors: Jett Janiak, Jacek Karwowski, Chatrik Singh Mangat, Giorgi Giglemiani, Nora Petrova, Stefan Heimersheim,
Abstract要約: モデル出力が小さいアクティベーション変化に敏感なままであるトランスフォーマーの残ストリーム内の安定領域を同定する。これらの領域はトレーニング中に出現し、トレーニングの進行やモデルサイズの増加に伴ってより定義される。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We identify stable regions in the residual stream of Transformers, where the model's output remains insensitive to small activation changes, but exhibits high sensitivity at region boundaries. These regions emerge during training and become more defined as training progresses or model size increases. The regions appear to be much larger than previously studied polytopes. Our analysis suggests that these stable regions align with semantic distinctions, where similar prompts cluster within regions, and activations from the same region lead to similar next token predictions. This work provides a promising research direction for understanding the complexity of neural networks, shedding light on training dynamics, and advancing interpretability.
Abstract（参考訳）: モデルの出力が小さな活性化変化に敏感でありながら、領域境界において高い感度を示すトランスフォーマーの残ストリーム内の安定領域を同定する。これらの領域はトレーニング中に出現し、トレーニングの進行やモデルサイズの増加に伴ってより定義される。この領域は以前研究されたポリトープよりもずっと大きいようである。解析の結果、これらの安定な領域は、類似の領域内のクラスタを誘導する意味的区別と一致し、同一領域からのアクティベーションは、同様の次のトークン予測をもたらすことが示唆された。この研究は、ニューラルネットワークの複雑さを理解し、トレーニングダイナミクスに光を流し、解釈可能性を向上させるための有望な研究方向を提供する。

関連論文リスト

Origin-Destination Demand Prediction: An Urban Radiation and Attraction Perspective [47.472045876664424]
本稿では,2種類のキャパシティ間の関係を捉える新しいモデルを提案する。具体的には、まず、両側分岐ネットワークを用いて、地域放射線とアトラクション容量をモデル化する。次に,ハイパーグラフを用いたパラメータ生成手法を用いて,同一領域の異なる容量の変換関係を記述する。
論文参考訳（メタデータ） (2024-11-29T15:35:17Z)
Certified Training with Branch-and-Bound: A Case Study on Lyapunov-stable Neural Control [64.58719561861079]
我々は,CT-BaBという新しい,一般の認定トレーニングフレームワークを開発した。比較的大きな関心領域を扱うために,我々は,ブランチ・アンド・バウンド(ブランチ・アンド・バウンド)のトレーニングタイムの新しい枠組みを提案する。私たちの新しいトレーニングフレームワークは、テスト時により効率的に検証可能なモデルを生成することができることを実証しています。
論文参考訳（メタデータ） (2024-11-27T11:12:46Z)
Structure of activity in multiregion recurrent neural networks [1.8416014644193066]
本研究では,複数領域のリカレントニューラルネットワークについて検討し,それぞれランダムおよび構造化された接続を持つニューロンについて検討した。通信サブスペースの実験的な証拠に触発され、領域間の低ランク接続を利用して、選択的アクティブルーティングを実現する。我々は、地域が、しばしば緊張状態にある、活動のジェネレータと送信機の両方として機能することを示します。
論文参考訳（メタデータ） (2024-02-19T14:51:55Z)
Hard Region Aware Network for Remote Sensing Change Detection [44.269913858088614]
変化検出(CD)は、都市管理や災害評価など、様々な現実世界の応用に不可欠である。本稿では,ハード領域マイニングによる高精度な変化マップを提供するHRANetと呼ばれる新しい変化検出ネットワークを提案する。
論文参考訳（メタデータ） (2023-05-31T02:52:38Z)
Analyzing the Domain Shift Immunity of Deep Homography Estimation [1.4607247979144045]
CNNによるホモグラフィー推定モデルは、ドメインシフトに対する特異な免疫性を示す。本研究は,ドメインシフトに対する様々な深層ホモグラフィ推定モデルのレジリエンスについて検討する。
論文参考訳（メタデータ） (2023-04-19T21:28:31Z)
Understanding the Evolution of Linear Regions in Deep Reinforcement Learning [21.53394095184201]
深部強化学習において,観測された地域数とその密度がどのように進化するかを考察した。最終方針から得られる固定軌跡に沿って測定した結果, 地域密度はトレーニングを通じて中程度に増大することがわかった。以上の結果から, 深層強化学習政策の複雑さは, この政策の軌道上および前後で観察される関数の複雑さの顕著な増加から生じるものではないことが示唆された。
論文参考訳（メタデータ） (2022-10-24T21:22:12Z)
Region Rebalance for Long-Tailed Semantic Segmentation [89.84860341946283]
まず、ピクセル再バランスによってこの問題に対処する主な課題を調査し、特定する。そして,本分析に基づいて,単純かつ効果的な領域再バランス方式を導出する。提案された領域再均衡スキームでは、最先端のBEiTはADE20K val集合上のmIoUで+0.7%上昇する。
論文参考訳（メタデータ） (2022-04-05T03:47:47Z)
Region-Based Semantic Factorization in GANs [67.90498535507106]
本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2022-02-19T17:46:02Z)
Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
論文参考訳（メタデータ） (2022-02-09T18:56:41Z)
Adaptive Region-Based Active Learning [57.78835999208091]
入力空間を有限個の領域に適応的に分割する新しい能動学習アルゴリズムを提案する。本稿では,アルゴリズムの一般化誤差とラベル複雑性の両立を理論的に保証する。いくつかの実世界のデータセットに対する広範な実験結果について報告する。
論文参考訳（メタデータ） (2020-02-18T03:16:36Z)
Empirical Studies on the Properties of Linear Regions in Deep Neural Networks [34.08593191989188]
分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。これらの領域の数はDNNの表現力を表すと考えられている。本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
論文参考訳（メタデータ） (2020-01-04T12:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。