論文の概要: A Library of LLM Intrinsics for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2504.11704v1
• Date: Wed, 16 Apr 2025 02:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:39:54.575437
• Title: A Library of LLM Intrinsics for Retrieval-Augmented Generation
• Title（参考訳）: 検索型生成のためのLLMイントロニクスライブラリー
• Authors: Marina Danilevsky, Kristjan Greenewald, Chulaka Gunasekara, Maeda Hanafi, Lihong He, Yannis Katsis, Krishnateja Killamsetty, Yatin Nandwani, Lucian Popa, Dinesh Raghu, Frederick Reiss, Vraj Shah, Khoi-Nguyen Tran, Huaiyu Zhu, Luis Lastras,
• Abstract要約: 本稿は、各内在的用法、訓練の詳細、評価、および複数の内在的用法の構成について述べる。 内在性(英: intrinsic)とは、LLM内在性自体の実装方法とは独立して、適切に定義されたAPIを通じて呼び出すことができる機能である。 我々のライブラリは,HuggingFace上のLoRAアダプタとしてリリースされ,推論プラットフォームとしてvLLM上に,明確な構造化された入出力特性を持つソフトウェアインターフェースを通じてリリースされた。
• 参考スコア（独自算出の注目度）: 22.68129843006454
• License:
• Abstract: In the developer community for large language models (LLMs), there is not yet a clean pattern analogous to a software library, to support very large scale collaboration. Even for the commonplace use case of Retrieval-Augmented Generation (RAG), it is not currently possible to write a RAG application against a well-defined set of APIs that are agreed upon by different LLM providers. Inspired by the idea of compiler intrinsics, we propose some elements of such a concept through introducing a library of LLM Intrinsics for RAG. An LLM intrinsic is defined as a capability that can be invoked through a well-defined API that is reasonably stable and independent of how the LLM intrinsic itself is implemented. The intrinsics in our library are released as LoRA adapters on HuggingFace, and through a software interface with clear structured input/output characteristics on top of vLLM as an inference platform, accompanied in both places with documentation and code. This article describes the intended usage, training details, and evaluations for each intrinsic, as well as compositions of multiple intrinsics.
• Abstract（参考訳）: 大規模言語モデル(LLM)の開発コミュニティでは、大規模なコラボレーションをサポートするために、ソフトウェアライブラリに類似したクリーンなパターンがまだ存在しない。 Retrieval-Augmented Generation (RAG) の一般的なユースケースであっても、さまざまな LLM プロバイダが合意する、明確に定義された API セットに対して、RAG アプリケーションを記述することはできない。 本稿では,コンパイラ固有の概念に触発されて,RAGのためのLLM言語ライブラリを導入することで,そのような概念のいくつかの要素を提案する。 LLM内在性は、LLM内在性自体の実装方法とは無関係に、合理的に安定し、適切に定義されたAPIを通じて呼び出すことができる能力として定義される。 私たちのライブラリの内在は、HuggingFace上のLoRAアダプタとしてリリースされ、推論プラットフォームとしてvLLMの上に明確な構造化された入出力特性を持つソフトウェアインターフェースを通じて、ドキュメンテーションとコードの両方の場所を伴います。 本稿は、各内在的用法、訓練の詳細、評価、および複数の内在的用法の構成について述べる。

関連論文リスト

• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• Codellm-Devkit: A Framework for Contextualizing Code LLMs with Program Analysis Insights [9.414198519543564]
  codellm-devkit (以下, CLDK') は,プログラム解析のプロセスを大幅に単純化したオープンソースライブラリである。 CLDKは開発者に対して直感的でユーザフレンドリなインターフェースを提供しています。
  論文  参考訳（メタデータ） (2024-10-16T20:05:59Z)
• Open-domain Implicit Format Control for Large Language Model Generation [52.83173553689678]
  大規模言語モデル(LLM)における制御生成のための新しいフレームワークを提案する。 本研究では、LLMがオープンドメイン、ワンショット制約に従う能力と、サンプル回答の形式を再現する能力について検討する。 また、出力品質を劣化させることなく、LLMのオープンドメインフォーマット制御を強化する教師付き微調整のためのデータセット収集手法を開発した。
  論文  参考訳（メタデータ） (2024-08-08T11:51:45Z)
• llmNER: (Zero|Few)-Shot Named Entity Recognition, Exploiting the Power of Large Language Models [1.1196013962698619]
  本稿では,大規模言語モデル(LLM)を用いたゼロショットおよび少数ショットNERを実装するPythonライブラリであるllmNERについて述べる。 llmNERはプロンプトを作成し、モデルをクエリし、LLMによって返される完了を解析することができる。 ライブラリの柔軟性を示すため、2つのNERタスクでソフトウェアを検証しました。
  論文  参考訳（メタデータ） (2024-06-06T22:01:59Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
  デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。 意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。 本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:10:35Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Evaluating In-Context Learning of Libraries for Code Generation [35.57902679044737]
  大規模言語モデル(LLM)は高いレベルのコード生成と理解能力を示す。 近年の研究では、大規模プロプライエタリなLLMがデモから新しいライブラリの使用法を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-16T07:37:25Z)
• LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
  LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。 LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。 LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
  論文  参考訳（メタデータ） (2023-10-30T17:55:02Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。