論文の概要: DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation

• arxiv url: http://arxiv.org/abs/2403.01954v4
• Date: Sun, 04 May 2025 06:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:34.918812
• Title: DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation
• Title（参考訳）: DECIDER: 言語生成のためのデュアルシステムルール制御可能なデコードフレームワーク
• Authors: Chen Xu, Tian Lan, Yu Ji, Changlong Yu, Wei Wang, Jun Gao, Qunxi Dong, Kun Qian, Piji Li, Wei Bi, Bin Hu,
• Abstract要約: 制約付き復号法は,事前訓練された大言語(Ms と PLMs)が生成するテキストの意味やスタイルを,推論時に様々なタスクに対して制御することを目的としている。 これらの方法は、しばしば、欲求的かつ明示的にターゲットを選択することによって、もっともらしい連続を導く。 認知二重プロセス理論に着想を得て,新しい復号化フレームワークDECDERを提案する。
• 参考スコア（独自算出の注目度）: 57.07295906718989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constrained decoding approaches aim to control the meaning or style of text generated by the pre-trained large language models (LLMs or also PLMs) for various tasks at inference time. However, these methods often guide plausible continuations by greedily and explicitly selecting targets. Though fulfilling the task requirements, these methods may overlook certain general and natural logics that humans would implicitly follow towards such targets. Inspired by cognitive dual-process theory, in this work, we propose a novel decoding framework DECIDER where the base LLMs are equipped with a First-Order Logic (FOL) reasoner to express and evaluate the rules, along with a decision function that merges the outputs of both systems to guide the generation. Unlike previous constrained decodings, DECIDER transforms the encouragement of target-specific words into all words that satisfy several high-level rules, enabling us to programmatically integrate our logic into LLMs. Experiments on CommonGen and PersonaChat demonstrate that DECIDER effectively follows given FOL rules to guide LLMs in a more human-like and logic-controlled manner.
• Abstract（参考訳）: 制約付き復号法は、事前訓練された大規模言語モデル(LLMまたはPLM)によって生成されたテキストの意味やスタイルを推論時に様々なタスクに対して制御することを目的としている。 しかし、これらの手法は、しばしば強欲に、明示的にターゲットを選択することによって、もっともらしい継続を導く。 タスク要件を満たす一方で、これらの手法は人間がそのような目標に向かって暗黙的に従うような、ある種の一般論理や自然論理を無視することができる。 認知二重プロセス理論に触発されて,本研究では,基本LLMに規則を表現・評価するための一階論理(FOL)推論器と,両システムの出力をマージして生成を誘導する決定関数を備えた,新しい復号化フレームワークDECDERを提案する。 従来の制約付き復号法とは異なり、DECDERはターゲット固有の単語の促進を複数の高レベルな規則を満たす全ての単語に変換することで、論理をLLMにプログラム的に統合することを可能にする。 CommonGen と PersonaChat の実験では、DECDER はより人間らしく論理的に制御された方法で LLM を導くために与えられた FOL ルールを効果的に従っている。

関連論文リスト

• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Text-to-Decision Agent: Learning Generalist Policies from Natural Language Supervision [36.643102023506614]
  本稿では,自然言語による一般政策学習を指導するフレームワークであるText-to-Decision Agent (T2DA)を提案する。 我々は,T2DAが高容量ゼロショットの一般化を促進し,様々なベースラインを上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-21T12:00:20Z)
• CRANE: Reasoning with constrained LLM generation [5.971462597321995]
  制約付きデコードアルゴリズムであるCRANEを提案し,制約付き生成の正しさと制約なし生成の柔軟性のバランスをとる。 CRANEは最先端の制約付き復号化戦略と標準の制約なし復号化戦略の両方を大きく上回っている。
  論文  参考訳（メタデータ） (2025-02-13T08:23:42Z)
• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning [1.3003982724617653]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、一貫性のない推論に苦戦している。 本研究では,LLM出力の信頼性と透明性を高めるフレームワークであるProof of Thoughtを紹介する。 主な貢献は、論理的整合性を高めるためのソート管理を備えた堅牢な型システム、事実的知識と推論的知識を明確に区別するための規則の明示である。
  論文  参考訳（メタデータ） (2024-09-25T18:35:45Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs [7.746160514029531]
  ロボットのタスク計画問題に対処するLLMによる実験結果を示す。 提案手法はタスクとシーンオブジェクトのテキスト記述を取得し,自然言語推論によるタスクプランニングを定式化する。 提案手法はマルチモーダル・プロンプト・シミュレーション・ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:58:12Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [84.31119464141631]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• Large Language Models are Few-Shot Summarizers: Multi-Intent Comment Generation via In-Context Learning [34.006227676170504]
  本研究では,大規模言語モデル(LLM)を用いて,開発者の多様な意図を満たすコメントを生成することの実現可能性について検討する。 2つの大規模なデータセットの実験は、私たちの洞察の理論的根拠を示しています。
  論文  参考訳（メタデータ） (2023-04-22T12:26:24Z)
• PADL: Language-Directed Physics-Based Character Control [66.517142635815]
  本稿では,文字が行うべきハイレベルなタスクと低レベルなスキルを指定するために,ユーザが自然言語コマンドを発行できるようにするPADLを提案する。 我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑な運動能力を実現するために,本フレームワークを適用した。
  論文  参考訳（メタデータ） (2023-01-31T18:59:22Z)
• Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural Language Instructions [53.21504989297547]
  本研究では,Minecraftのような環境下でのオブジェクト構築作業において,言語モデルと強化学習を組み合わせた新しい手法を提案する。 提案手法は,まず命令から一貫した達成可能なサブゴールのセットを生成し,学習済みのRLポリシーで関連するサブタスクを完了させる。
  論文  参考訳（メタデータ） (2022-11-01T18:30:42Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees [10.406631494442683]
  人間-AIポリシー仕様は、人間がロボットの強化学習ポリシーを協調的に温めるための、我々が定義した新しい手順である。 我々は,自律エージェントの行動の初期化と解釈を可能にする,新しい協調フレームワークを開発した。 提案手法は,ドメイン探索コストを増大させることなく,未経験の自然言語仕様を利用することで,RLエージェントをウォームスタートさせる。
  論文  参考訳（メタデータ） (2021-01-18T16:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。