論文の概要: A Solution-based LLM API-using Methodology for Academic Information Seeking

• arxiv url: http://arxiv.org/abs/2405.15165v1
• Date: Fri, 24 May 2024 02:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 18:18:44.243846
• Title: A Solution-based LLM API-using Methodology for Academic Information Seeking
• Title（参考訳）: 学習情報検索のための解法に基づくLLM API利用手法
• Authors: Yuanchun Wang, Jifan Yu, Zijun Yao, Jing Zhang, Yuyang Xie, Shangqing Tu, Yiyang Fu, Youhe Feng, Jinkai Zhang, Jingyao Zhang, Bowen Huang, Yuanyao Li, Huihui Yuan, Lei Hou, Juanzi Li, Jie Tang,
• Abstract要約: SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
• 参考スコア（独自算出の注目度）: 49.096714812902576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying large language models (LLMs) for academic API usage shows promise in reducing researchers' academic information seeking efforts. However, current LLM API-using methods struggle with complex API coupling commonly encountered in academic queries. To address this, we introduce SoAy, a solution-based LLM API-using methodology for academic information seeking. It uses code with a solution as the reasoning method, where a solution is a pre-constructed API calling sequence. The addition of the solution reduces the difficulty for the model to understand the complex relationships between APIs. Code improves the efficiency of reasoning. To evaluate SoAy, we introduce SoAyBench, an evaluation benchmark accompanied by SoAyEval, built upon a cloned environment of APIs from AMiner. Experimental results demonstrate a 34.58-75.99\% performance improvement compared to state-of-the-art LLM API-based baselines. All datasets, codes, tuned models, and deployed online services are publicly accessible at https://github.com/RUCKBReasoning/SoAy.
• Abstract（参考訳）: 学術的なAPI使用のために大きな言語モデル(LLM)を適用することは、研究者の学術的情報を求める努力を減らすことの約束である。 しかし、現在のLLM API利用法は、学術的なクエリでよく見られる複雑なAPI結合に苦慮している。 そこで本研究では,学術情報検索のためのソリューションベースのLLM API利用方法論であるSoAyを紹介する。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 ソリューションの追加により、モデルがAPI間の複雑な関係を理解するのが難しくなる。 コードは推論の効率を改善する。 SoAyを評価するために、AMinerのAPIのクローン環境上に構築されたSoAyEvalを伴う評価ベンチマークであるSoAyBenchを紹介します。 実験結果は、最先端のLLM APIベースのベースラインと比較して34.58-75.99\%の性能向上を示している。 すべてのデータセット、コード、チューニングされたモデル、デプロイされたオンラインサービスはhttps://github.com/RUCKBReasoning/SoAy.comで公開されている。

関連論文リスト

• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models [49.214291813478695]
  AIアプリケーションで広く使用されているディープラーニング(DL)ライブラリは、オーバーフローやバッファフリーエラーなどの脆弱性を含むことが多い。 従来のファジィングはDLライブラリの複雑さとAPIの多様性に悩まされている。 DLライブラリのためのLLM駆動ファジィ手法であるDFUZZを提案する。
  論文  参考訳（メタデータ） (2025-01-08T07:07:22Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• LLMs Meet Library Evolution: Evaluating Deprecated API Usage in LLM-based Code Completion [13.633501449498402]
  APIの使用を分解することは、大規模言語モデル(LLM)ベースのコード補完の問題である。 この研究には、7つの高度なLLM、人気のあるPythonライブラリの145のAPIマッピング、28125の補完プロンプトが含まれていた。 本稿では,REPLACEAPIとINSERTPROMPTの2つの軽量固定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-14T08:44:10Z)
• LLM+Reasoning+Planning for Supporting Incomplete User Queries in Presence of APIs [0.09374652839580183]
  実際には、自然言語のタスク要求(ユーザクエリ)は不完全であることが多い。 大きな言語モデル(LLM)は自然言語処理(NLP)タスクに優れていますが、欠落した情報やAPIのオーケストレーションに苦慮することが多いのです。
  論文  参考訳（メタデータ） (2024-05-21T01:16:34Z)
• Compositional API Recommendation for Library-Oriented Code Generation [23.355509276291198]
  我々は、粗粒度要求のためのAPIを推奨するために、"diide-and-conquer"戦略を採用するCAPIRを提案する。 RAPID(Documentationに基づく推奨API)とLOCG(Library-Oriented Code Generation)の2つの挑戦的なベンチマークを提示する。 これらのベンチマーク実験の結果,既存のベースラインと比較してCAPIRの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-29T18:27:27Z)
• APICom: Automatic API Completion via Prompt Learning and Adversarial Training-based Data Augmentation [6.029137544885093]
  APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。 これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。 ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。 提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
  論文  参考訳（メタデータ） (2023-09-13T15:31:50Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。