論文の概要: Understanding In-context Learning of Addition via Activation Subspaces

• arxiv url: http://arxiv.org/abs/2505.05145v2
• Date: Thu, 15 May 2025 07:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 12:00:18.740899
• Title: Understanding In-context Learning of Addition via Activation Subspaces
• Title（参考訳）: アクティベーション部分空間による付加の文脈内学習の理解
• Authors: Xinyan Hu, Kayo Yin, Michael I. Jordan, Jacob Steinhardt, Lijie Chen,
• Abstract要約: そこで本研究では,入力に整数$k$を追加するという真の予測ルールを,数発の学習タスクのファミリーで検討する。 Llama-3-8Bは、このタスクにおいて、$k$の範囲で高い精度を達成し、わずか3つのアテンションヘッドに、その数ショットの能力をローカライズする。
• 参考スコア（独自算出の注目度）: 74.8874431046062
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To perform in-context learning, language models must extract signals from individual few-shot examples, aggregate these into a learned prediction rule, and then apply this rule to new examples. How is this implemented in the forward pass of modern transformer models? To study this, we consider a structured family of few-shot learning tasks for which the true prediction rule is to add an integer $k$ to the input. We find that Llama-3-8B attains high accuracy on this task for a range of $k$, and localize its few-shot ability to just three attention heads via a novel optimization approach. We further show the extracted signals lie in a six-dimensional subspace, where four of the dimensions track the unit digit and the other two dimensions track overall magnitude. We finally examine how these heads extract information from individual few-shot examples, identifying a self-correction mechanism in which mistakes from earlier examples are suppressed by later examples. Our results demonstrate how tracking low-dimensional subspaces across a forward pass can provide insight into fine-grained computational structures.
• Abstract（参考訳）: 文脈内学習を行うには、言語モデルは個々の少数ショット例から信号を抽出し、これらを学習した予測ルールに集約し、新しい例にこのルールを適用する必要がある。 現代のトランスモデルの前方通過でどのように実装されているか? そこで本研究では,実際の予測ルールが入力に整数$k$を追加するという,数発の学習タスクの構造化されたファミリについて考察する。 Llama-3-8Bは、このタスクにおいて、$k$の範囲で高い精度を実現し、新しい最適化アプローチにより、わずか3つの注意点にローカライズできることが判明した。 さらに、抽出した信号が6次元の部分空間に置かれており、4つの次元が単位桁を、他の2つの次元が全体の大きさをトラックしていることを示す。 最終的に、これらのヘッドが個々の事例からどのように情報を抽出し、過去の事例からの誤りを後述例によって抑制する自己補正メカニズムを特定するかを検討する。 この結果は,フォワードパスを横切る低次元部分空間の追跡が,微粒な計算構造に対する洞察を与えることを示す。

関連論文リスト

• Arithmetic in Transformers Explained [1.8434042562191815]
  我々は、加算、減算、または両方で訓練された44個の自己回帰トランスモデルを解析する。 加算モデルが共通論理アルゴリズムに収束し、ほとんどのモデルが99.999%の精度で予測できることを示す。 我々は,これらのアルゴリズム回路を定義し,発見し,視覚化するために,機械的解釈可能性ツールの再利用ライブラリを導入する。
  論文  参考訳（メタデータ） (2024-02-04T21:33:18Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• Gaussian Switch Sampling: A Second Order Approach to Active Learning [11.775252660867285]
  能動的学習において、取得関数は、モデル多様体内の表現位置に直接情報性を定義する。 本稿では,アクティブラーニングの文脈における情報内容とサンプルの重要性の2次定義を提案する。 我々は,モデル表現が訓練データの欠如によって制約されている場合でも,その定義が極めて正確な重要度スコアを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-16T15:24:56Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Deep Learning Through the Lens of Example Difficulty [21.522182447513632]
  本稿では,与えられた入力の予測を行う際の計算困難度,すなわち(有効)予測深さを測る尺度を提案する。 我々の研究は、与えられた入力の予測深さとモデルの不確実性、信頼性、正確性、そしてそのデータポイントの学習速度との間の驚くほど単純な関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-17T16:48:12Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。