論文の概要: DMN-Guided Prompting: A Low-Code Framework for Controlling LLM Behavior

• arxiv url: http://arxiv.org/abs/2505.11701v1
• Date: Fri, 16 May 2025 21:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.789793
• Title: DMN-Guided Prompting: A Low-Code Framework for Controlling LLM Behavior
• Title（参考訳）: DMN-Guided Prompting - LLMの動作制御のための低コードフレームワーク
• Authors: Shaghayegh Abedi, Amin Jalali,
• Abstract要約: 決定モデルと表記法(DMN)は、構造化されたユーザフレンドリな方法で決定ロジックを定義するための標準化されたグラフィカルなアプローチを提供する。 本稿では、複雑な決定ロジックをより小さく管理可能なコンポーネントに分解するDMN誘導プロンプトフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.8747606955991705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown considerable potential in automating decision logic within knowledge-intensive processes. However, their effectiveness largely depends on the strategy and quality of prompting. Since decision logic is typically embedded in prompts, it becomes challenging for end users to modify or refine it. Decision Model and Notation (DMN) offers a standardized graphical approach for defining decision logic in a structured, user-friendly manner. This paper introduces a DMN-guided prompting framework that breaks down complex decision logic into smaller, manageable components, guiding LLMs through structured decision pathways. We implemented the framework in a graduate-level course where students submitted assignments. The assignments and DMN models representing feedback instructions served as inputs to our framework. The instructor evaluated the generated feedback and labeled it for performance assessment. Our approach demonstrated promising results, outperforming chain-of-thought (CoT) prompting. Students also responded positively to the generated feedback, reporting high levels of perceived usefulness in a survey based on the Technology Acceptance Model.
• Abstract（参考訳）: LLM(Large Language Models)は、知識集約プロセスにおける決定ロジックの自動化において、かなりの可能性を示している。 しかし、その効果は主にプロンプトの戦略と品質に依存している。 決定ロジックは通常、プロンプトに埋め込まれているので、エンドユーザがそれを修正したり洗練したりするのは難しい。 決定モデルと表記法(DMN)は、構造化されたユーザフレンドリな方法で決定ロジックを定義するための標準化されたグラフィカルなアプローチを提供する。 本稿では、複雑な決定ロジックをより小さく、管理可能なコンポーネントに分割し、構造化された決定経路を通じてLLMを導くDMN誘導プロンプトフレームワークを提案する。 学生が課題を提出する大学院課程で実施した。 フィードバック命令を表す代入とDMNモデルは、我々のフレームワークへの入力として役立ちました。 インストラクターは生成されたフィードバックを評価し、パフォーマンス評価のためにラベル付けした。 提案手法は有望な結果を示し, チェーン・オブ・シークレット(CoT)よりも優れていた。 また, 学生は, 得られたフィードバックに肯定的な反応を示し, テクノロジーアクセプタンスモデルに基づく調査において, 高レベルの有用性を報告した。

関連論文リスト

• Rule-Guided Feedback: Enhancing Reasoning by Enforcing Rule Adherence in Large Language Models [7.839338724237275]
  Rule-Guided Feedback (RGF)は、LLM(Large Language Model)のパフォーマンスを向上させるために設計されたフレームワークである。 RGFは、ルールフォローが確立されたガイドラインによって強制される教師学生パラダイムを実装している。
  論文  参考訳（メタデータ） (2025-03-14T12:05:06Z)
• Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons [9.954960702259918]
  本稿では,文脈認識評価を行うLLM(en:en:en:en:en:en:en:en:LLMs)ジャッジであるThemisを紹介する。 Themisの開発パイプラインの概要を概観し、シナリオに依存した評価プロンプトを強調します。 メタ評価のための人間ラベル付きベンチマークを2つ導入し、テミスが人間の嗜好を経済的に高度に調整できることを実証した。
  論文  参考訳（メタデータ） (2025-02-05T08:35:55Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [12.970776782360366]
  AERA Chatは、学生の回答の視覚的に説明された評価を提供するインタラクティブなプラットフォームである。 ユーザーは質問や学生の回答を入力して、大規模言語モデルから自動で説明可能な評価結果を得ることができる。
  論文  参考訳（メタデータ） (2024-10-12T11:57:53Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。