Fugu-MT 論文翻訳(概要): Formal Language Knowledge Corpus for Retrieval Augmented Generation

論文の概要: Formal Language Knowledge Corpus for Retrieval Augmented Generation

arxiv url: http://arxiv.org/abs/2412.16689v1
Date: Sat, 21 Dec 2024 16:31:41 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:59:18.724800
Title: Formal Language Knowledge Corpus for Retrieval Augmented Generation
Title（参考訳）: 検索拡張生成のための形式言語知識コーパス
Authors: Majd Zayyad, Yossi Adi,
Abstract要約: 本研究では、数学的な証明を書くためのプログラミング言語であるLeanを用いて、RAGシステムで使用される知識コーパスを収集する。先進的な論理的推論タスクにおける LLM の性能向上に RAG を使用する様々な手法を探求する基盤を築きたい。
参考スコア（独自算出の注目度）: 23.379465069701553
License:
Abstract: The integration of retrieval-augmented techniques with LLMs has shown promise in improving performance across various domains. However, their utility in tasks requiring advanced reasoning, such as generating and evaluating mathematical statements and proofs, remains underexplored. This study explores the use of Lean, a programming language for writing mathematical proofs, to populate the knowledge corpus used by RAG systems. We hope for this to lay the foundation to exploring different methods of using RAGs to improve the performance of LLMs in advanced logical reasoning tasks.
Abstract（参考訳）: LLMと検索強化技術の統合により、様々な領域における性能向上が期待できる。しかし、数学的ステートメントや証明の生成や評価といった高度な推論を必要とするタスクにおけるそれらの実用性は、まだ未解明のままである。本研究では、数学的な証明を書くためのプログラミング言語であるLeanを用いて、RAGシステムで使用される知識コーパスを収集する。先進的な論理的推論タスクにおける LLM の性能向上に RAG を使用する様々な手法を探求する基盤を築きたい。

関連論文リスト

Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought [31.964412924094656]
大規模言語モデル(LLM)は汎用アシスタントとして非常に優れた性能を示している。多様な推論タスクにおける学習と一般化を容易にする新しい学習フレームワークTHOUGHT-LIKE-PROを導入する。実験結果から,本手法はLLMの推論能力を大幅に向上させる可能性が示唆された。
論文参考訳（メタデータ） (2024-07-18T18:52:10Z)
Exploring Advanced Large Language Models with LLMsuite [1.2058143465239939]
このチュートリアルでは、大規模言語モデルの開発における進歩と課題について説明する。 Retrieval Augmented Generation (RAG)、Program-Aided Language Models (PAL)、ReActやLangChainといったフレームワークなどのソリューションを提案する。
論文参考訳（メタデータ） (2024-07-01T05:37:17Z)
FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
論文参考訳（メタデータ） (2024-02-29T21:05:37Z)
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
論文参考訳（メタデータ） (2024-02-28T08:24:38Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文参考訳（メタデータ） (2024-02-12T16:32:37Z)
A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
論文参考訳（メタデータ） (2023-11-18T18:10:02Z)
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文参考訳（メタデータ） (2023-10-17T03:21:43Z)
Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文参考訳（メタデータ） (2023-10-02T01:00:50Z)
Large Language Models are Few-Shot Summarizers: Multi-Intent Comment Generation via In-Context Learning [34.006227676170504]
本研究では,大規模言語モデル(LLM)を用いて,開発者の多様な意図を満たすコメントを生成することの実現可能性について検討する。 2つの大規模なデータセットの実験は、私たちの洞察の理論的根拠を示しています。
論文参考訳（メタデータ） (2023-04-22T12:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。