論文の概要: DECIDER: A Rule-Controllable Decoding Strategy for Language Generation
by Imitating Dual-System Cognitive Theory
- arxiv url: http://arxiv.org/abs/2403.01954v1
- Date: Mon, 4 Mar 2024 11:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 18:54:48.419662
- Title: DECIDER: A Rule-Controllable Decoding Strategy for Language Generation
by Imitating Dual-System Cognitive Theory
- Title(参考訳): DECIDER:デュアルシステム認知理論の省略による言語生成のためのルール制御可能なデコード戦略
- Authors: Chen Xu, Tian Lan, Changlong Yu, Wei Wang, Jun Gao, Yu Ji, Qunxi Dong,
Kun Qian, Piji Li, Wei Bi, and Bin Hu
- Abstract要約: 両システム認知理論に着想を得た制約付き言語生成のためのルール制御可能な復号法であるDECIDERを提案する。
具体的には、DECDERにおいて、事前学習された言語モデル(PLM)に高レベルのルールを入力として取り込む論理推論器を装備し、その後、DECDERは各復号ステップでルール信号がPLMに流れ込むことを可能にする。
- 参考スコア(独自算出の注目度): 57.07295906718989
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lexicon-based constrained decoding approaches aim to control the meaning or
style of the generated text through certain target concepts. Existing
approaches over-focus the targets themselves, leading to a lack of high-level
reasoning about how to achieve them. However, human usually tackles tasks by
following certain rules that not only focuses on the targets but also on
semantically relevant concepts that induce the occurrence of targets. In this
work, we present DECIDER, a rule-controllable decoding strategy for constrained
language generation inspired by dual-system cognitive theory. Specifically, in
DECIDER, a pre-trained language model (PLM) is equiped with a logic reasoner
that takes high-level rules as input. Then, the DECIDER allows rule signals to
flow into the PLM at each decoding step. Extensive experimental results
demonstrate that DECIDER can effectively follow given rules to guide generation
direction toward the targets in a more human-like manner.
- Abstract(参考訳): lexiconベースの制約付きデコードアプローチは、特定のターゲット概念を通じて生成されたテキストの意味やスタイルを制御することを目的としている。
既存のアプローチはターゲット自体に過度に焦点を合わせ、その達成方法に関する高レベルの推論が欠如している。
しかしながら、人間は通常、目標だけでなく、目標の発生を誘発する意味論的に関連する概念にも焦点をあてる特定の規則に従うことでタスクに取り組む。
本稿では,二重系認知理論に触発された制約付き言語生成のための規則制御可能な復号戦略であるdecisatorを提案する。
具体的には、DECDERでは、事前訓練された言語モデル(PLM)に高レベルのルールを入力として取り込む論理推論器を装備する。
そして、DECDERは、各復号ステップでルール信号がPLMに流れ込むことを可能にする。
広範な実験の結果、決定者はより人間的な方法で生成方向を導くために与えられた規則を効果的に従えることが示されている。
関連論文リスト
- Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and
Improving LLMs [95.41575344721691]
大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。
しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。
本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:38:51Z) - Enhancing Logical Reasoning in Large Language Models to Facilitate Legal
Applications [4.062485135201161]
大規模言語モデル(LLM)は人間の言語理解と生成をエミュレートしようとするが、論理的推論におけるその能力は限られている。
LLMに論理的推論を効果的に教えるにはどうすればよいのか?
論理的推論におけるLLMの能力の強化に焦点をあてて、法やその他の論理的な分野における適用性の拡大を目指す。
論文 参考訳(メタデータ) (2023-11-22T01:51:50Z) - Learning Neuro-symbolic Programs for Language Guided Robot Manipulation [10.287265801542999]
自然言語命令と入力と出力シーンが与えられた場合、我々の目標は、操作プログラムを出力できるニューロシンボリックモデルを訓練することである。
i) トレーニング中に見られる以上の一般化を制限するが、密集したサブゴールの監督を必要とする概念に対して、手書きのシンボルに依存する。
我々のアプローチはニューロシンボリックであり、言語的および知覚的バリエーションを扱うことができ、中間的な監督を必要としないエンドツーエンドの差別化が可能であり、潜伏したニューラルオブジェクト中心の表現で機能するシンボリック推論構造を利用する。
論文 参考訳(メタデータ) (2022-11-12T12:31:17Z) - Discrete Factorial Representations as an Abstraction for Goal
Conditioned Reinforcement Learning [99.38163119531745]
離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。
分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
論文 参考訳(メタデータ) (2022-11-01T03:31:43Z) - Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。
以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。
本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
論文 参考訳(メタデータ) (2022-06-06T22:09:52Z) - Interpretable Reinforcement Learning with Multilevel Subgoal Discovery [77.34726150561087]
離散環境のための新しい強化学習モデルを提案する。
モデルでは、エージェントは確率的ルールの形で環境に関する情報を学習する。
学習には報酬関数は不要であり、エージェントは達成するための第一の目標のみを与える必要がある。
論文 参考訳(メタデータ) (2022-02-15T14:04:44Z) - Neuro-Symbolic Hierarchical Rule Induction [12.610497441047395]
Inductive Logic Programming (ILP) 問題を解決するために, 効率的な解釈可能なニューロシンボリックモデルを提案する。
階層構造で組織されたメタルールの集合から構築されたこのモデルでは、メタルールの事実や体述と一致するように埋め込みを学習することで、一階規則が発明される。
我々は, 様々な課題(ILP, 視覚ゲノム, 強化学習)において, 最先端の手法に対して, モデルの有効性を実証的に検証した。
論文 参考訳(メタデータ) (2021-12-26T17:02:14Z) - Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。
本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。
提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
論文 参考訳(メタデータ) (2021-11-23T17:49:00Z) - Grounding Language to Autonomously-Acquired Skills via Goal Generation [23.327749767424567]
言語条件付きRLに対する新しい概念的アプローチ:LGB(Language-Goal-Behavior Architecture)を提案する。
LGBは、世界の中間的な意味表現を通じて、スキル学習と言語基盤を分離する。
本稿では,物体間の空間的関係を記述した本質的な意味表現を具現化した,本質的な動機づけ型学習エージェントDECSTRを提案する。
論文 参考訳(メタデータ) (2020-06-12T13:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。