論文の概要: Toward Interactive Understanding of Code APIs

• arxiv url: http://arxiv.org/abs/2609.32081v1
• Date: Fri, 25 Sep 2026 23:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:22:37.986014
• Title: Toward Interactive Understanding of Code APIs
• Title（参考訳）: コードAPIの相互理解に向けて
• Abstract要約: PAU(Python API Understanding)ベンチマークを導入し、コードスニペットへのブラックボックス、APIレベルアクセスのモデルを提供します。 コードスニペットを対話だけで理解しなければならない外部ツールとして扱うことで、PAUは教師なしツール理解のより一般的な問題を研究する。 近年のコーディングエージェントの進歩にもかかわらず、フロンティアモデルでさえPAUの高性能化に苦慮している。
• 参考スコア（独自算出の注目度）: 35.01918279559079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empowered by advances in Language Model agents, systems have made substantial strides in code generation and understanding. However, these approaches often rely on read access to the relevant code, an assumption which does not hold when dealing with external APIs. In this work, we introduce the PAU (Python API Understanding) benchmark, where we provide models with black-box, API-level access to code snippets. Models must query the API with exploratory inputs and draw insights from the resulting outputs, with the goal of describing the snippet's true functionality. By treating the code snippets as external tools that must be understood via interaction alone, PAU studies the more general problem of unsupervised tool understanding, specifically for tools implemented as Python methods. Despite recent progress in coding agents, even frontier models struggle to achieve high performance on PAU, with the best model (Claude-4-Opus) failing to understand over 45% of the PAU test set. An investigation into the common error modes reveals that models are overconfident; they often overrate the quality of their current hypothesis, leading to insufficient exploration and premature termination. Finally, we take inspiration from the Asymmetric Actor Critic (AAC) paradigm, frequently used in robot learning, to post-train models for interactive code understanding. Models trained with AAC conduct more active exploration of the APIs, with an AAC-tuned Qwen3-8B model matching the performance of GPT-5-mini.
• Abstract（参考訳）: 言語モデルエージェントの進歩によって、システムはコード生成と理解において大きな進歩を遂げた。 しかしながら、これらのアプローチは、しばしば関連するコードへの読み取りアクセスに依存します。 本研究では,コードスニペットへのAPIレベルアクセスをブラックボックスで提供するPAU(Python API Understanding)ベンチマークを紹介する。 モデルは、スニペットの真の機能を記述することを目的として、探索的なインプットでAPIをクエリし、結果のアウトプットから洞察を引き出す必要がある。 コードスニペットを対話だけで理解しなければならない外部ツールとして扱うことで、PAUは教師なしツール理解のより一般的な問題、特にPythonメソッドとして実装されたツールについて研究する。 近年のコーディングエージェントの進歩にもかかわらず、最良モデル(Claude-4-Opus)はPAUテストセットの45%以上を理解できなかったため、フロンティアモデルでさえPAUの高性能化に苦慮している。 一般的なエラーモードの調査では、モデルは過信であり、しばしば現在の仮説の質を過大評価し、不十分な探索と早期終了につながっている。 最後に、ロボット学習で頻繁に使用される非対称アクター批判(AAC)パラダイムからインスピレーションを得て、インタラクティブなコード理解のためのトレーニング後のモデルに着想を得た。 AACでトレーニングされたモデルは、GPT-5-miniのパフォーマンスに合わせたAACで調整されたQwen3-8Bモデルを使用して、APIのより活発な探索を行う。

関連論文リスト

• Diagnosing Knowledge Gaps in LLM Tool Use: An Agentic Benchmark for Novel API Acquisition [2.392878902712915]
  NovelAPIBenchは、任意のベースモデルとターゲットライブラリの動的ベンチマークである。 探索によって注入された知識とパラメトリック適応によって内部化された知識を比較した。 Retrievalは揮発性のAPIコンテンツを提供し、チューニングは手続き統合を改善する。
  論文  参考訳（メタデータ） (2026-06-02T13:46:04Z)
• Framework-Aware Code Generation with API Knowledge Graph-Constructed Data: A Study on HarmonyOS [52.483888557864326]
  APIKG4SYNはAPI指向の質問コードペアの構築にAPIナレッジグラフを活用するように設計されたフレームワークである。 APIKG4SYNを使ったHarmonyOSコード生成のための最初のベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-29T08:13:54Z)
• GOAT: A Training Framework for Goal-Oriented Agent with Tools [16.5275883251462]
  大規模言語モデル(LLM)は、インタラクティブエージェントとして機能するために、最近、従来のテキスト生成を超えて拡張されている。 本研究では,人間のアノテーションを含まない環境下でのLDMエージェントの微調整を可能にする新しいトレーニングフレームワークGOATを提案する。 広範な実験により,GOAT学習エージェントは,複数の既存の目標指向ベンチマークにおいて最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-14T07:14:50Z)
• DeepCodeSeek: Real-Time API Retrieval for Context-Aware Code Generation [0.0]
  現在の検索技術は、標準的なRAGクエリドキュメントアプリケーションに限られている。 本稿では,必要なAPIを予測するためのコードとインデックスを拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-09-30T03:23:27Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Classification-by-Retrieval Framework for Few-Shot Anomaly Detection to Detect API Injection Attacks [9.693391036125908]
  本稿では,2つの主要部品からなる非教師なし数発の異常検出フレームワークを提案する。 まず、FastTextの埋め込みに基づいたAPI専用の汎用言語モデルをトレーニングする。 次に,近似Nearest Neighborサーチを分類・検索手法として用いた。
  論文  参考訳（メタデータ） (2024-05-18T10:15:31Z)
• PHOTONAI -- A Python API for Rapid Machine Learning Model Development [2.414341608751139]
  PHOTONAIは、機械学習モデル開発の簡素化と高速化を目的とした、ハイレベルなPython APIである。 これは統一フレームワークとして機能し、ユーザーは異なるツールボックスからのアルゴリズムをカスタムのアルゴリズムシーケンスに簡単にアクセスし、組み合わせることができる。
  論文  参考訳（メタデータ） (2020-02-13T10:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。