論文の概要: TracrBench: Generating Interpretability Testbeds with Large Language Models

• arxiv url: http://arxiv.org/abs/2409.13714v1
• Date: Sat, 7 Sep 2024 10:02:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:46:28.422105
• Title: TracrBench: Generating Interpretability Testbeds with Large Language Models
• Title（参考訳）: TracrBench: 大きな言語モデルで解釈可能性テストベッドを生成する
• Authors: Hannes Thurnherr, Jérémy Scheurer,
• Abstract要約: Tracrは、RASPで固有の基底真理写像を持つコンパイルされたトランスフォーマーを生成する方法である。 大規模言語モデル(LLM)を用いた解釈可能性テストベッド生成のための新しい手法を提案する。 TracrBench は手書き 121 と LLM 生成の人間バリデーション RASP プログラムとそれに対応するトランスフォーマーウェイトで構成されている。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving a mechanistic understanding of transformer-based language models is an open challenge, especially due to their large number of parameters. Moreover, the lack of ground truth mappings between model weights and their functional roles hinders the effective evaluation of interpretability methods, impeding overall progress. Tracr, a method for generating compiled transformers with inherent ground truth mappings in RASP, has been proposed to address this issue. However, manually creating a large number of models needed for verifying interpretability methods is labour-intensive and time-consuming. In this work, we present a novel approach for generating interpretability test beds using large language models (LLMs) and introduce TracrBench, a novel dataset consisting of 121 manually written and LLM-generated, human-validated RASP programs and their corresponding transformer weights. During this process, we evaluate the ability of frontier LLMs to autonomously generate RASP programs and find that this task poses significant challenges. GPT-4-turbo, with a 20-shot prompt and best-of-5 sampling, correctly implements only 57 out of 101 test programs, necessitating the manual implementation of the remaining programs. With its 121 samples, TracrBench aims to serve as a valuable testbed for evaluating and comparing interpretability methods.
• Abstract（参考訳）: トランスフォーマーに基づく言語モデルの機械的理解を得ることは、特に多数のパラメータのために、オープンな課題である。 さらに,モデル重みと機能的役割間の基底的真理マッピングの欠如は,解釈可能性手法の効果的な評価を妨げ,全体的な進歩を妨げる。 RASPに固有の基底真理写像を持つコンパイル変換器を生成するTracrが,この問題に対処するために提案されている。 しかし、解釈可能性の検証に必要な多数のモデルを手動で作成することは、労働集約的で時間を要する。 本研究では,大規模な言語モデル (LLM) を用いて解釈可能性テストベッドを生成するための新しい手法を提案し,手書き121文字とLLM生成された人間検証RASPプログラムとそれに対応するトランスフォーマー重みからなる新しいデータセットであるTrcrBenchを紹介する。 この過程で、我々は、フロンティアLSMがRASPプログラムを自律的に生成する能力を評価し、このタスクが大きな課題となることを発見した。 GPT-4-turboは20発のプロンプトとベスト・オブ・5サンプリングを備え、101のテストプログラムのうち57発のみを正しく実装し、残りのプログラムのマニュアル実装を必要とする。 TracrBenchは121のサンプルを使って、解釈可能性の評価と比較のための貴重なテストベッドを目指している。

関連論文リスト

• MDCrow: Automating Molecular Dynamics Workflows with Large Language Models [0.6130124744675498]
  分子動力学シミュレーションを自動化可能なエージェントLLMアシスタントであるMDCrowを紹介する。 必要なサブタスクと難易度が異なる25タスクにまたがるMDCrowの性能を評価し,難易度と易易度の両方に対するエージェントの頑健さを評価する。
  論文  参考訳（メタデータ） (2025-02-13T18:19:20Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は、人間の命令を理解し、コードを生成するのに優れた性能を示した。 我々は,ITERTLという,シンプルながら効果的な反復訓練パラダイムを導入する。 提案手法によってトレーニングされたモデルは、最先端のオープンソースモデル(SOTA)と競合し、さらに優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation [15.254775341371364]
  ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-05-08T03:57:45Z)
• Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
  我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。 その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:23:29Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。