論文の概要: RuAG: Learned-rule-augmented Generation for Large Language Models

• arxiv url: http://arxiv.org/abs/2411.03349v1
• Date: Mon, 04 Nov 2024 00:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:59.018204
• Title: RuAG: Learned-rule-augmented Generation for Large Language Models
• Title（参考訳）: RuAG: 大規模言語モデルのための学習ルール拡張ジェネレーション
• Authors: Yudi Zhang, Pei Xiao, Lu Wang, Chaoyun Zhang, Meng Fang, Yali Du, Yevgeniy Puzyrev, Randolph Yao, Si Qin, Qingwei Lin, Mykola Pechenizkiy, Dongmei Zhang, Saravan Rajmohan, Qi Zhang,
• Abstract要約: 本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
• 参考スコア（独自算出の注目度）: 62.64389390179651
• License:
• Abstract: In-context learning (ICL) and Retrieval-Augmented Generation (RAG) have gained attention for their ability to enhance LLMs' reasoning by incorporating external knowledge but suffer from limited contextual window size, leading to insufficient information injection. To this end, we propose a novel framework, RuAG, to automatically distill large volumes of offline data into interpretable first-order logic rules, which are injected into LLMs to boost their reasoning capabilities. Our method begins by formulating the search process relying on LLMs' commonsense, where LLMs automatically define head and body predicates. Then, RuAG applies Monte Carlo Tree Search (MCTS) to address the combinational searching space and efficiently discover logic rules from data. The resulting logic rules are translated into natural language, allowing targeted knowledge injection and seamless integration into LLM prompts for LLM's downstream task reasoning. We evaluate our framework on public and private industrial tasks, including natural language processing, time-series, decision-making, and industrial tasks, demonstrating its effectiveness in enhancing LLM's capability over diverse tasks.
• Abstract（参考訳）: In-context Learning (ICL) と Retrieval-Augmented Generation (RAG) は、外部知識を取り入れてLLMの推論を強化する能力に注目されている。 そこで本研究では,LLMに注入された大量のオフラインデータを解釈可能な一階述語論理規則に自動で抽出し,推論能力を向上する新しいフレームワークであるRuAGを提案する。 提案手法は,LLMが頭と体の述語を自動的に定義する,LLMのコモンセンスに依存する探索過程を定式化することから始める。 次に、RuAGはMonte Carlo Tree Search (MCTS)を適用して、組み合わせ探索空間に対処し、データから論理ルールを効率的に発見する。 結果として得られる論理ルールは自然言語に変換され、LLMの下流タスク推論のための目標知識注入とLLMプロンプトへのシームレスな統合が可能になる。 我々は,自然言語処理,時系列処理,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価し,LLMの多種多様なタスクに対する能力向上効果を実証する。

関連論文リスト

• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Knowledgeable Agents by Offline Reinforcement Learning from Large Language Model Rollouts [10.929547354171723]
  本稿では,言語モデルロールアウト(KALM)の知識エージェントを紹介する。 大規模言語モデル(LLM)から、オフラインの強化学習手法によってエージェントが容易に学習できる想像上のロールアウトの形で知識を抽出する。 未確認の目標を持つタスクの実行において46%の成功率を達成し、ベースラインメソッドによって達成された26%の成功率を大幅に上回る。
  論文  参考訳（メタデータ） (2024-04-14T13:19:40Z)
• Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline [2.6644624823848426]
  大規模言語モデル(LLM)は、要求工学(RE)タスクを自動化するための基盤となる。 本章は、LLMに関する本質的な知識を読者に提供することを目的としている。 学生、研究者、実践者が特定の目的に対処するためにLLMを活用するための包括的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-02-21T14:00:52Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。