論文の概要: Building Decision Making Models Through Language Model Regime
- arxiv url: http://arxiv.org/abs/2408.06087v1
- Date: Mon, 12 Aug 2024 12:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:13:27.408308
- Title: Building Decision Making Models Through Language Model Regime
- Title（参考訳）: 言語モデルレジームによる意思決定モデルの構築
- Authors: Yu Zhang, Haoxiang Liu, Feijun Jiang, Weihua Luo, Kaifu Zhang,
- Abstract要約: 大規模言語モデル(LLM)の一般化機能を活用した意思決定問題に対する新しいアプローチを提案する。
LLMは、様々な言語タスクを一般化し、意思決定モデルをトレーニングするための新しい戦略を刺激し、驚くべき成功を収めた。
広告や検索最適化などのeコマース分野の実験では、LTUアプローチが従来の教師付き学習体制より優れていることが示されている。
- 参考スコア（独自算出の注目度）: 17.61892714225144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach for decision making problems leveraging the generalization capabilities of large language models (LLMs). Traditional methods such as expert systems, planning algorithms, and reinforcement learning often exhibit limited generalization, typically requiring the training of new models for each unique task. In contrast, LLMs demonstrate remarkable success in generalizing across varied language tasks, inspiring a new strategy for training decision making models. Our approach, referred to as "Learning then Using" (LTU), entails a two-stage process. Initially, the \textit{learning} phase develops a robust foundational decision making model by integrating diverse knowledge from various domains and decision making contexts. The subsequent \textit{using} phase refines this foundation model for specific decision making scenarios. Distinct from other studies that employ LLMs for decision making through supervised learning, our LTU method embraces a versatile training methodology that combines broad pre-training with targeted fine-tuning. Experiments in e-commerce domains such as advertising and search optimization have shown that LTU approach outperforms traditional supervised learning regimes in decision making capabilities and generalization. The LTU approach is the first practical training architecture for both single-step and multi-step decision making tasks combined with LLMs, which can be applied beyond game and robot domains. It provides a robust and adaptable framework for decision making, enhances the effectiveness and flexibility of various systems in tackling various challenges.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の一般化機能を活用した意思決定問題に対する新しいアプローチを提案する。
エキスパートシステム、計画アルゴリズム、強化学習といった伝統的な手法は、特定のタスクごとに新しいモデルのトレーニングを必要とするため、限定的な一般化を示すことが多い。
対照的に、LLMは様々な言語タスクにまたがる一般化を成功させ、意思決定モデルをトレーニングするための新しい戦略を刺激した。
我々のアプローチは"Learning then Using" (LTU)と呼ばれ、2段階のプロセスを必要とする。
当初、‘textit{learning} フェーズは、さまざまなドメインからの多様な知識と意思決定コンテキストを統合することによって、堅牢な基本的な意思決定モデルを開発する。
その後の‘textit{using} フェーズは、特定の意思決定シナリオのための基盤モデルを洗練します。
教師付き学習による意思決定にLLMを用いる他の研究とは違い,LTU法では,広範囲な事前学習と目標とする微調整を組み合わせた多目的学習手法が採用されている。
広告や検索最適化などのeコマース分野の実験では、LTUアプローチは意思決定能力や一般化において従来の教師付き学習体制よりも優れていることが示されている。
LTUアプローチは、ゲームドメインやロボットドメインを越えて適用可能なLLMと組み合わせた、シングルステップおよびマルチステップの意思決定タスクのための最初の実践的なトレーニングアーキテクチャである。
意思決定のための堅牢で適応可能なフレームワークを提供し、さまざまな課題に対処する上で、さまざまなシステムの有効性と柔軟性を高める。
関連論文リスト
- Guided Learning: Lubricating End-to-End Modeling for Multi-stage Decision-making [7.106919452604968]
多段階意思決定におけるエンド・ツー・エンド・ラーニングを強化するためのガイドド・ラーニングを提案する。
本稿では,中間的ニューラルネットワーク層を段階的な目標に向けてトレーニングする関数である「ガイド」の概念を紹介する。
明示的な監督ラベルを欠いた意思決定シナリオに対しては、全決定の報酬'を定量化するユーティリティ関数を組み込む。
論文 参考訳（メタデータ） (2024-11-15T06:54:25Z) - BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。
より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。
4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-10-05T09:27:52Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - Meta Reasoning for Large Language Models [58.87183757029041]
大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。
MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。
総合的なベンチマークによりMPPの有効性を評価する。
論文 参考訳（メタデータ） (2024-06-17T16:14:11Z) - Large Language Model Agent as a Mechanical Designer [7.136205674624813]
本研究では,FEMモジュールと事前学習LLMを統合する新しい手法を提案する。
FEMモジュールはそれぞれの設計を評価し、重要なフィードバックを提供し、LLMにドメイン固有のトレーニングを必要とせずに継続的に学習し、計画し、生成し、設計を最適化するよう指示する。
その結果, LLMをベースとしたエージェントは, 自然言語仕様に準拠したトラスを最大90%の確率で生成できることがわかった。
論文 参考訳（メタデータ） (2024-04-26T16:41:24Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Solution-oriented Agent-based Models Generation with Verifier-assisted
Iterative In-context Learning [10.67134969207797]
エージェントベースのモデル(ABM)は、仮説的な解決策やポリシーの提案と検証に不可欠なパラダイムである。
大きな言語モデル(LLM)は、ドメイン間の知識とプログラミング能力をカプセル化することで、このプロセスの難しさを軽減できる可能性がある。
SAGEは、ターゲット問題に対する自動モデリングおよびソリューション生成のために設計された、汎用的なソリューション指向のABM生成フレームワークである。
論文 参考訳（メタデータ） (2024-02-04T07:59:06Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳（メタデータ） (2022-05-05T13:40:08Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Learning to Generalize for Sequential Decision Making [19.075378799280728]
本稿では,教師による模倣学習手法と,強化学習モデルを自然言語理解モデルに変換する方法を紹介する。
モデルがより速く学習し、より一般化できることを示し、模倣学習と改革の両方を活用する。
論文 参考訳（メタデータ） (2020-10-05T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。