論文の概要: TinySQL: A Progressive Text-to-SQL Dataset for Mechanistic Interpretability Research

• arxiv url: http://arxiv.org/abs/2503.12730v1
• Date: Mon, 17 Mar 2025 01:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:32:59.567838
• Title: TinySQL: A Progressive Text-to-SQL Dataset for Mechanistic Interpretability Research
• Title（参考訳）: TinySQL: 機械的解釈可能性研究のための進歩的なテキスト-SQLデータセット
• Authors: Philip Quirke, Clement Neo, Abir Harrasse, Dhruv Nathawani, Amir Abdullah,
• Abstract要約: 本研究では,おもちゃのタスクの形式的構造と実世界の複雑さを組み合わせることで,テキスト・ツー・ジェネレーションを学習の理想的なタスクとして提案する。 我々は、最小限の回路を識別するためにエッジパッチやオートエンコーダなどの解釈可能性技術を適用した。 私たちの研究は、解釈可能性技術の評価と進歩のための包括的なフレームワークを提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Mechanistic interpretability research faces a gap between analyzing simple circuits in toy tasks and discovering features in large models. To bridge this gap, we propose text-to-SQL generation as an ideal task to study, as it combines the formal structure of toy tasks with real-world complexity. We introduce TinySQL, a synthetic dataset progressing from basic to advanced SQL operations, and train models ranging from 33M to 1B parameters to establish a comprehensive testbed for interpretability. We apply multiple complementary interpretability techniques, including edge attribution patching and sparse autoencoders, to identify minimal circuits and components supporting SQL generation. Our analysis reveals both the potential and limitations of current interpretability methods, showing how circuits can vary even across similar queries. Lastly, we demonstrate how mechanistic interpretability can identify flawed heuristics in models and improve synthetic dataset design. Our work provides a comprehensive framework for evaluating and advancing interpretability techniques while establishing clear boundaries for their reliable application.
• Abstract（参考訳）: 機械的解釈可能性の研究は、おもちゃのタスクにおける単純な回路の分析と、大きなモデルにおける特徴の発見のギャップに直面している。 このギャップを埋めるために,おもちゃのタスクの形式的構造と現実の複雑さを組み合わせることで,テキストからSQLへの生成を学習の理想的なタスクとして提案する。 基本的なSQL操作から高度なSQL操作へ進化する合成データセットであるTinySQLを紹介し、33Mから1Bパラメータのモデルをトレーニングして、解釈可能性のための包括的なテストベッドを確立する。 エッジ属性パッチやスパースオートエンコーダなど,複数の補完的解釈可能性技術を適用し,SQL生成をサポートする最小回路やコンポーネントを同定する。 解析の結果,現在の解釈可能性法の可能性と限界が明らかとなり,回路が類似の問合せに対してどのように変化するかが明らかになった。 最後に,モデルにおける欠陥のあるヒューリスティックを機械的解釈性によって識別し,合成データセットの設計を改善する方法を示す。 私たちの研究は、信頼性のあるアプリケーションのための明確な境界を確立しながら、解釈可能性のテクニックを評価し、前進するための包括的なフレームワークを提供します。

関連論文リスト

• Bridging the Gap: Enabling Natural Language Queries for NoSQL Databases through Text-to-NoSQL Translation [25.638927795540454]
  自然言語クエリをアクセス可能なクエリに変換することを目的としたText-to-Noタスクを導入する。 この分野での研究を促進するために、我々はTEND(Text-to-Noデータセットのショートインターフェース)という、このタスクのための大規模かつオープンソースのデータセットをリリースした。 また,SLM(Small Language Model)支援とRAG(Retrieval-augmented Generation)支援の多段階フレームワークSMARTを設計した。
  論文  参考訳（メタデータ） (2025-02-16T17:01:48Z)
• Rationalization Models for Text-to-SQL [13.792561265515003]
  本稿では,テキスト・ツー・シークレット・モデルの微調整を強化するために,CoT(Chain-of-Thought)論理を生成するフレームワークを提案する。 プロセスは、手動でサンプルの小さなセットをアノテートすることから始まり、その後、大きな言語モデルを促すために使用される。 その後、検証されたクエリに基づいて合理化モデルをトレーニングし、広範な合成CoTアノテーションを可能にする。
  論文  参考訳（メタデータ） (2025-02-10T18:38:57Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries [67.0083902913112]
  高度な解析タスクを取り入れたText2Analysisベンチマークを開発した。 また,5つのイノベーティブかつ効果的なアノテーション手法を開発した。 3つの異なる指標を用いて5つの最先端モデルを評価する。
  論文  参考訳（メタデータ） (2023-12-21T08:50:41Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• On the Structural Generalization in Text-to-SQL [36.56043090037171]
  データベーススキーマ(DS)の構造的多様性について検討する。 本稿では,新しいテキスト間構造データを生成するフレームワークを提案する。 合成試料を用いたテキスト・ツー・モデルの評価における顕著な性能低下
  論文  参考訳（メタデータ） (2023-01-12T02:52:51Z)
• Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
  最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。 本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-17T02:53:21Z)
• Augmenting Multi-Turn Text-to-SQL Datasets with Self-Play [46.07002748587857]
  我々は、コンテキスト情報を活用して新しいインタラクションを合成するセルフプレイによるトレーニングデータセットの強化について検討する。 本研究では,SParCとCoという2つの広く使われているテキスト・ドメイン・データセットの強いベースラインの精度を向上させることを発見した。
  論文  参考訳（メタデータ） (2022-10-21T16:40:07Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• An Investigation Between Schema Linking and Text-to-SQL Performance [21.524953580249395]
  近年のニューラルアプローチは優れたパフォーマンスをもたらすが、将来の発展を妨げるのが難しいモデルである。 本研究の目的は,ニューラルネットワークの解釈に対するより良いアプローチを提供することである。
  論文  参考訳（メタデータ） (2021-02-03T02:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。