論文の概要: Learning to Solve Domain-Specific Calculation Problems with Knowledge-Intensive Programs Generator

• arxiv url: http://arxiv.org/abs/2412.09280v1
• Date: Thu, 12 Dec 2024 13:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:33:32.774018
• Title: Learning to Solve Domain-Specific Calculation Problems with Knowledge-Intensive Programs Generator
• Title（参考訳）: 知識集約型プログラム生成器を用いたドメイン固有計算問題の解法
• Authors: Chengyuan Liu, Shihang Wang, Lizhi Qing, Jun Lin, Ji Zhang, Fei Wu, Kun Kuang,
• Abstract要約: 本稿では,知識集中型プログラム生成器を用いて,ドメイン固有の計算問題を解くパイプラインを提案する。 ドメイン固有の文書に従って知識集約型プログラムを生成する。 また、コードジェネレータは、新しい知識をトレーニングすることなく、他のドメインにも適用可能であることもわかりました。
• 参考スコア（独自算出の注目度）: 33.680619900836376
• License:
• Abstract: Domain Large Language Models (LLMs) are developed for domain-specific tasks based on general LLMs. But it still requires professional knowledge to facilitate the expertise for some domain-specific tasks. In this paper, we investigate into knowledge-intensive calculation problems. We find that the math problems to be challenging for LLMs, when involving complex domain-specific rules and knowledge documents, rather than simple formulations of terminologies. Therefore, we propose a pipeline to solve the domain-specific calculation problems with Knowledge-Intensive Programs Generator more effectively, named as KIPG. It generates knowledge-intensive programs according to the domain-specific documents. For each query, key variables are extracted, then outcomes which are dependent on domain knowledge are calculated with the programs. By iterative preference alignment, the code generator learns to improve the logic consistency with the domain knowledge. Taking legal domain as an example, we have conducted experiments to prove the effectiveness of our pipeline, and extensive analysis on the modules. We also find that the code generator is also adaptable to other domains, without training on the new knowledge.
• Abstract（参考訳）: ドメイン言語モデル(LLM)は、一般のLLMに基づいて、ドメイン固有のタスクのために開発される。 しかし、いくつかのドメイン固有のタスクの専門知識を促進するためには、まだ専門的な知識が必要です。 本稿では,知識集約型計算問題について考察する。 専門用語の単純な定式化ではなく,複雑なドメイン固有のルールや知識文書を含む場合,LSMでは数学の問題が困難であることが判明した。 そこで我々は,知識集中型プログラム生成器を用いて,領域固有の計算問題をより効果的に解くパイプラインをKIPGとして提案する。 ドメイン固有の文書に従って知識集約型プログラムを生成する。 クエリ毎にキー変数が抽出され、ドメイン知識に依存する結果がプログラムで計算される。 反復的な優先順位調整によって、コードジェネレータは、ドメイン知識とのロジック整合性を改善することを学ぶ。 法的なドメインを例として、パイプラインの有効性を証明する実験を行い、モジュールについて広範な分析を行った。 また、コードジェネレータは、新しい知識をトレーニングすることなく、他のドメインにも適用可能であることもわかりました。

関連論文リスト

• Domain-Specific Retrieval-Augmented Generation Using Vector Stores, Knowledge Graphs, and Tensor Factorization [7.522493227357079]
  大規模言語モデル(LLM)は大規模コーパスで事前訓練されている。 LLMは幻覚、知識の遮断、知識の帰属の欠如に悩まされる。 SMART-SLICはドメイン固有のLLMフレームワークである。
  論文  参考訳（メタデータ） (2024-10-03T17:40:55Z)
• Knowledge Tagging with Large Language Model based Multi-Agent System [17.53518487546791]
  本稿では,従来のアルゴリズムの限界に対処するマルチエージェントシステムについて検討する。 我々は,従来の手法が抱えていた課題を克服する上で,LLMベースのマルチエージェントシステムの可能性を強調した。
  論文  参考訳（メタデータ） (2024-09-12T21:39:01Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• On the Effectiveness of Large Language Models in Domain-Specific Code Generation [20.61882220430463]
  ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 コード生成プロセスにAPI知識を効果的に組み込む方法について検討する。 私たちはこれらの戦略を、DomCoderと呼ばれる新しいコード生成アプローチと呼んでいる。
  論文  参考訳（メタデータ） (2023-12-04T05:41:02Z)
• A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
  大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
  論文  参考訳（メタデータ） (2023-11-17T16:09:10Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
  本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。 本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
  論文  参考訳（メタデータ） (2023-10-18T00:20:50Z)
• Lawyer LLaMA Technical Report [32.27632750736859]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 しかし、法律や医学のような特定のドメインにデプロイする場合、モデルはまだドメイン固有の知識が不足しているという課題に直面している。 特定のドメインにLLMを適用するための新しいフレームワークを提案し,法的ドメインLLMであるLawyer LLaMAを構築した。
  論文  参考訳（メタデータ） (2023-05-24T11:52:07Z)
• Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge [54.85168428642474]
  我々は、さまざまなドメインをカバーするドメイン固有の質問からなる新しい中国のベンチマークKnowを構築した。 次に、付加的なデータ例に注釈を付けるのではなく、公式知識を提示することでこの問題に対処する。 より具体的には、ドメイン知識基盤として定式的知識バンクを構築し、解析中にこの定式的知識を活用するためのフレームワーク(ReGrouP)を提案する。
  論文  参考訳（メタデータ） (2023-01-03T12:37:47Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。