論文の概要: How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model

• arxiv url: http://arxiv.org/abs/2305.00586v2
• Date: Tue, 16 May 2023 10:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 18:20:08.591784
• Title: How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model
• Title（参考訳）: GPT-2はどのように計算しますか? 事前学習言語モデルにおける数学的能力の解釈
• Authors: Michael Hanna, Ollie Liu and Alexandre Variengien
• Abstract要約: 我々は、GPT-2小の数学的能力を説明するために、機械的解釈可能性技術を用いている。 我々は, GPT-2 small の最終多層パーセプトロンは, 開始年よりも終末年の確率を増大させることを示した。 以上の結果から,GPT-2は複雑だが汎用的な機構で計算可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models can be surprisingly adept at tasks they were not explicitly trained on, but how they implement these capabilities is poorly understood. In this paper, we investigate the basic mathematical abilities often acquired by pre-trained language models. Concretely, we use mechanistic interpretability techniques to explain the (limited) mathematical abilities of GPT-2 small. As a case study, we examine its ability to take in sentences such as "The war lasted from the year 1732 to the year 17", and predict valid two-digit end years (years > 32). We first identify a circuit, a small subset of GPT-2 small's computational graph that computes this task's output. Then, we explain the role of each circuit component, showing that GPT-2 small's final multi-layer perceptrons boost the probability of end years greater than the start year. Finally, we find related tasks that activate our circuit. Our results suggest that GPT-2 small computes greater-than using a complex but general mechanism that activates across diverse contexts.
• Abstract（参考訳）: 事前訓練された言語モデルは、明示的に訓練されていないタスクに驚くほど適しているが、これらの機能の実装方法はあまり理解されていない。 本稿では,事前学習された言語モデルによってしばしば得られる基本的な数学的能力について検討する。 具体的には,GPT-2の(限定的な)数学的能力を説明するために,機械的解釈可能性技術を用いる。 ケーススタディとして,「戦争は1732年から17年まで続いた」などの文を取り込む能力について検討し,有効な2桁終了年(32歳未満)を予測した。 まず、このタスクの出力を計算するGPT-2小の計算グラフの小さなサブセットである回路を同定する。 そして、各回路部品の役割を説明し、GPT-2小の最終的な多層パーセプトロンが、開始年よりも終末年の確率を高めることを示す。 最後に、回路を活性化する関連タスクを見つける。 以上の結果から,GPT-2は多種多様なコンテキストにまたがって活性化する複雑だが汎用的な機構を用いて計算を行う。

関連論文リスト

• Learning to grok: Emergence of in-context learning and skill composition in modular arithmetic tasks [5.358878931933351]
  モジュール型算術タスクの集合における文脈内学習とスキル構成の出現について検討する。 具体的には、線型モジュラ函数の有限集合 $z = a, x + b, y ;mathrmmod; p$ を mathbbZ_p2$ のベクトル $(a, b) でラベル付けする。
  論文  参考訳（メタデータ） (2024-06-04T17:59:36Z)
• WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct [128.89645483139236]
  本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。 GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
  論文  参考訳（メタデータ） (2023-08-18T14:23:21Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Towards Automated Circuit Discovery for Mechanistic Interpretability [7.605075513099429]
  本稿では,それに続く機械的解釈可能性プロセスの体系化について述べる。 調査中のデータセット、メトリック、ユニットを変えることで、研究者は各コンポーネントの機能を理解することができる。 本稿では,いくつかのアルゴリズムを提案し,それを検証するために過去の解釈可能性の結果を再現する。
  論文  参考訳（メタデータ） (2023-04-28T17:36:53Z)
• Mathematical Capabilities of ChatGPT [35.71603158908465]
  GHOSTSとminiGHOSTSの2つの新しいデータセットをリリースしています。 これらは、数学の研究者によって計算された最初の自然言語データセットである。 モデルを、詳細なパフォーマンス指標でベンチマークします。
  論文  参考訳（メタデータ） (2023-01-31T18:59:03Z)
• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
  本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• Kronecker Decomposition for GPT Compression [8.60086973058282]
  GPTは自動回帰トランスフォーマーベースの事前学習言語モデルであり、自然言語処理(NLP)分野において多くの注目を集めている。 GPTの性能は優れているが、GPTはこのモデルを限られた計算能力やメモリを持つデバイスに展開することを非常に禁じることができる。 本研究では, GPT-22モデルの線形写像を圧縮するためにKronecker分解を用いる。
  論文  参考訳（メタデータ） (2021-10-15T15:28:39Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。