論文の概要: CRABS: A syntactic-semantic pincer strategy for bounding LLM interpretation of Python notebooks

• arxiv url: http://arxiv.org/abs/2507.11742v1
• Date: Tue, 15 Jul 2025 21:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.158398
• Title: CRABS: A syntactic-semantic pincer strategy for bounding LLM interpretation of Python notebooks
• Title（参考訳）: CRABS:PythonノートブックのLLM解釈をバウンディングするための構文意味ピンサー戦略
• Authors: Meng Li, Timothy M. McPhillips, Dingmin Wang, Shin-Rong Tsai, Bertram Ludäscher,
• Abstract要約: データサイエンスと機械学習 Pythonノートブックは、新しいタスクを評価し、再利用し、適応するために重要である。 大きな言語モデルは、幻覚や長いコンテキストの問題のために、現実的なノートブックを理解することができません。 本稿では,ノートブックにおける情報フローグラフと対応するセル実行依存性グラフを生成するノートブック理解タスクを提案する。 提案手法の有効性を,50個の代表的,高精細なKaggleノートの注釈付きデータセットを用いて評価し,実証した。
• 参考スコア（独自算出の注目度）: 6.16712273021723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recognizing the information flows and operations comprising data science and machine learning Python notebooks is critical for evaluating, reusing, and adapting notebooks for new tasks. Investigating a notebook via re-execution often is impractical due to the challenges of resolving data and software dependencies. While Large Language Models (LLMs) pre-trained on large codebases have demonstrated effectiveness in understanding code without running it, we observe that they fail to understand some realistic notebooks due to hallucinations and long-context challenges. To address these issues, we propose a notebook understanding task yielding an information flow graph and corresponding cell execution dependency graph for a notebook, and demonstrate the effectiveness of a pincer strategy that uses limited syntactic analysis to assist full comprehension of the notebook using an LLM. Our Capture and Resolve Assisted Bounding Strategy (CRABS) employs shallow syntactic parsing and analysis of the abstract syntax tree (AST) to capture the correct interpretation of a notebook between lower and upper estimates of the inter-cell I/O sets, then uses an LLM to resolve remaining ambiguities via cell-by-cell zero-shot learning, thereby identifying the true data inputs and outputs of each cell. We evaluate and demonstrate the effectiveness of our approach using an annotated dataset of 50 representative, highly up-voted Kaggle notebooks that together represent 3454 actual cell inputs and outputs. The LLM correctly resolves 1397 of 1425 (98%) ambiguities left by analyzing the syntactic structure of these notebooks. Across 50 notebooks, CRABS achieves average F1 scores of 98% identifying cell-to-cell information flows and 99% identifying transitive cell execution dependencies.
• Abstract（参考訳）: データサイエンスと機械学習を含む情報フローと操作を認識する Pythonノートブックは、新しいタスクのためにノートブックを評価し、再利用し、適応するために重要である。 再実行によるノートブックの調査は、データとソフトウェア依存関係の解決という課題のため、現実的ではないことが多い。 大規模コードベースで事前訓練されたLarge Language Models (LLM) は,実行せずにコードを理解する上で有効であることを示す一方で,幻覚や長いコンテキストの問題により,現実的なノートブックを理解できないことが観察されている。 これらの課題に対処するために,ノートブックに情報フローグラフと対応するセル実行依存性グラフを付与するノートブック理解タスクを提案し,LLMを用いたノートブックの完全な理解を支援するために,限定構文解析を用いたピンサー戦略の有効性を実証する。 我々のCRABS(Capture and Resolve Assisted Bounding Strategy)は、抽象構文木(AST)の浅い構文解析と解析を用いて、セル間I/Oセットの上下推定値の間のノートブックの正しい解釈を捉える。 提案手法の有効性を,3454個の実際のセル入力と出力を表す50個の代表的高精細なKaggleノートの注釈付きデータセットを用いて評価し,実証した。 LLMは、これらのノートの構文構造を分析することによって、1425 (98%) の曖昧さの1397を正しく解決する。 50以上のノートブックで、CRABSは平均F1スコアを98%、セル間情報フローを99%、推移的なセル実行依存を99%と達成している。

関連論文リスト

• Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
  我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。 我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。 合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
  論文  参考訳（メタデータ） (2025-06-20T13:21:14Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Rubric Is All You Need: Enhancing LLM-based Code Evaluation With Question-Specific Rubrics [1.3707925738322797]
  本稿では,専門家評価に対する評価厳密度を定量化するLeniencyと呼ばれる新しい指標を提案する。 包括的分析により,学習環境におけるコードの論理的評価が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2025-03-31T11:59:43Z)
• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Instructive Code Retriever: Learn from Large Language Model's Feedback for Code Intelligence Tasks [10.867880635762395]
  Instructive Code Retriever (ICR) という新しいアプローチを導入する。 ICRは、さまざまなコードインテリジェンスタスクやデータセットにわたるモデル推論を強化するサンプルを取得するように設計されている。 我々は,コード要約,プログラム合成,バグ修正など,様々なタスクにおけるモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2024-10-15T05:44:00Z)
• Interactive Analysis of LLMs using Meaningful Counterfactuals [22.755345889167934]
  カウンターファクト例は、機械学習モデルの意思決定境界を探索するのに有用である。 LLMの分析・説明に反事実的手法をどう適用すればいいのか? 本稿では,完全かつ意味のあるテキストの反事実のバッチを生成するための新しいアルゴリズムを提案する。 我々の実験では、カウンターファクトの97.2%が文法的に正しい。
  論文  参考訳（メタデータ） (2024-04-23T19:57:03Z)
• Analyzing LLM Usage in an Advanced Computing Class in India [4.580708389528142]
  本研究では,大規模言語モデル(LLM)を,大学院生や大学院生が高度なコンピューティングクラスにおけるプログラミング課題に活用することを検討した。 インド大学の分散システムクラスから411名の学生を対象に,総合的な分析を行った。
  論文  参考訳（メタデータ） (2024-04-06T12:06:56Z)
• Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。 提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models [38.79074982172423]
  本稿では,トランスフォーマーを用いた大規模言語モデル (LLM) の内部動作について検討する。 本稿では,制約満足度問題として事実クエリをモデル化することを提案する。 制約トークンに対するLLMの注意と世代毎の事実的正確性との間には,強い正の相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-26T17:48:55Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Natural Language to Code Generation in Interactive Data Science Notebooks [35.621936471322385]
  データサイエンスノートブックのパンダスデータ分析フレームワークを用いて1082のコード生成問題のベンチマークであるARCADEを構築した。 我々は,Python 計算ノートブック用の 62B コード言語モデル PaChiNCo を開発した。
  論文  参考訳（メタデータ） (2022-12-19T05:06:00Z)
• MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics [55.85042753772513]
  そこで本研究では,生成的読解の指標であるModeling Correctness with Humanをトレーニングし,評価するためのベンチマークを提案する。 S 我々は,MOCHAを用いて,人間の判断スコアを模倣する学習評価尺度LERCを訓練する。 最小のペアで評価すると、LERCは80%の精度でベースラインを14から26の絶対パーセンテージポイントで上回り、改善の余地は大きい。
  論文  参考訳（メタデータ） (2020-10-07T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。