論文の概要: Retrieval Augmented Learning: A Retrial-based Large Language Model Self-Supervised Learning and Autonomous Knowledge Generation

• arxiv url: http://arxiv.org/abs/2505.01073v1
• Date: Fri, 02 May 2025 07:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.952721
• Title: Retrieval Augmented Learning: A Retrial-based Large Language Model Self-Supervised Learning and Autonomous Knowledge Generation
• Title（参考訳）: Retrieval Augmented Learning: Retrial-based Large Language Model Self-Supervised Learning and Autonomous Knowledge Generation
• Authors: Zongyuan Li, Pengfei Li, Runnan Qi, Yanan Ni, Lumin Jiang, Hui Wu, Xuebo Zhang, Kuihua Huang, Xian Guo,
• Abstract要約: 本稿では,Large Language Models(LLMs)のための報酬なし自己教師型学習フレームワークであるRetrial-Augmented Learning(RAL)を紹介する。 中間データを整理するモジュールとして検索補助生成(RAG)を開発することにより,仮説を提案し,仮説を検証し,知識を生成する3段階の自律的知識生成を実現した。 実験により,提案手法は,評価知識の生成と活用によって幻覚を効果的に低減し,極めて低コストで意思決定性能を向上することを示した。
• 参考スコア（独自算出の注目度）: 13.284415692423039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lack of domain-specific data in the pre-training of Large Language Models (LLMs) severely limits LLM-based decision systems in specialized applications, while post-training a model in the scenarios requires significant computational resources. In this paper, we present Retrial-Augmented Learning (RAL), a reward-free self-supervised learning framework for LLMs that operates without model training. By developing Retrieval-Augmented Generation (RAG) into a module for organizing intermediate data, we realized a three-stage autonomous knowledge generation of proposing a hypothesis, validating the hypothesis, and generating the knowledge. The method is evaluated in the LLM-PySC2 environment, a representative decision-making platform that combines sufficient complexity with domain-specific knowledge requirements. Experiments demonstrate that the proposed method effectively reduces hallucination by generating and utilizing validated knowledge, and increases decision-making performance at an extremely low cost. Meanwhile, the approach exhibits potential in out-of-distribution(OOD) tasks, robustness, and transferability, making it a cost-friendly but effective solution for decision-making problems and autonomous knowledge generation.
• Abstract（参考訳）: LLM(Large Language Models)の事前トレーニングにおけるドメイン固有データの欠如は、特定のアプリケーションにおけるLLMベースの決定システムを著しく制限する一方で、シナリオにおけるモデルの後トレーニングには、かなりの計算資源が必要である。 本稿では,モデル学習を伴わないLLMのための,報酬のない自己指導型学習フレームワークであるRetrial-Augmented Learning(RAL)を提案する。 中間データを整理するモジュールとして検索補助生成(RAG)を開発することにより,仮説を提案し,仮説を検証し,知識を生成する3段階の自律的知識生成を実現した。 本手法は,LLM-PySC2環境において,十分な複雑性とドメイン固有の知識要求を結合した代表的な意思決定プラットフォームとして評価される。 実験により,提案手法は,評価知識の生成と活用によって幻覚を効果的に低減し,極めて低コストで意思決定性能を向上することを示した。 一方、このアプローチは、アウト・オブ・ディストリビューション(OOD)タスク、ロバスト性、トランスファービリティの可能性を秘めており、意思決定問題や自律的な知識生成のためのコストフレンドリで効果的なソリューションとなっている。

関連論文リスト

• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• LLMs Could Autonomously Learn Without External Supervision [36.36147944680502]
  大規模言語モデル(LLM)は、伝統的に人間の注釈付きデータセットと事前定義されたトレーニング目標に結び付けられてきた。 本稿では,LLMのための自律学習手法を提案する。 本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。
  論文  参考訳（メタデータ） (2024-06-02T03:36:37Z)
• Large Language Model-Based Interpretable Machine Learning Control in Building Energy Systems [3.0309252269809264]
  本稿では、モデルとその推論の透明性と理解を高める機械学習(ML)の分野である、解釈可能な機械学習(IML)について検討する。 共有価値の原則とLarge Language Models(LLMs)のコンテキスト内学習機能を組み合わせた革新的なフレームワークを開発する。 本稿では,仮想テストベッドにおける需要応答イベント下での予測制御に基づく事前冷却モデルの実現可能性を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2024-02-14T21:19:33Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Solution-oriented Agent-based Models Generation with Verifier-assisted Iterative In-context Learning [10.67134969207797]
  エージェントベースのモデル(ABM)は、仮説的な解決策やポリシーの提案と検証に不可欠なパラダイムである。 大きな言語モデル(LLM)は、ドメイン間の知識とプログラミング能力をカプセル化することで、このプロセスの難しさを軽減できる可能性がある。 SAGEは、ターゲット問題に対する自動モデリングおよびソリューション生成のために設計された、汎用的なソリューション指向のABM生成フレームワークである。
  論文  参考訳（メタデータ） (2024-02-04T07:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。