論文の概要: PINTO: Faithful Language Reasoning Using Prompt-Generated Rationales
- arxiv url: http://arxiv.org/abs/2211.01562v3
- Date: Thu, 6 Apr 2023 23:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 15:02:33.013996
- Title: PINTO: Faithful Language Reasoning Using Prompt-Generated Rationales
- Title（参考訳）: PINTO: Prompt-Generated Rationals を用いた忠実な言語推論
- Authors: Peifeng Wang, Aaron Chan, Filip Ilievski, Muhao Chen, Xiang Ren
- Abstract要約: PINTOは、素早い学習を通じて合理化し、反実正則化を通じて合理性を忠実に理化することを学ぶパイプラインである。
PINTO は LM の推理能力を大幅に向上させ, 分布内および分布外の両方で高い性能が得られることを示した。
- 参考スコア（独自算出の注目度）: 42.98229290301891
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural language models (LMs) have achieved impressive results on various
language-based reasoning tasks by utilizing latent knowledge encoded in their
own pretrained parameters. To make this reasoning process more explicit, recent
works retrieve a rationalizing LM's internal knowledge by training or prompting
it to generate free-text rationales, which can be used to guide task
predictions made by either the same LM or a separate reasoning LM. However,
rationalizing LMs require expensive rationale annotation and/or computation,
without any assurance that their generated rationales improve LM task
performance or faithfully reflect LM decision-making. In this paper, we propose
PINTO, an LM pipeline that rationalizes via prompt-based learning, and learns
to faithfully reason over rationales via counterfactual regularization. First,
PINTO maps out a suitable reasoning process for the task input by prompting a
frozen rationalizing LM to generate a free-text rationale. Second, PINTO's
reasoning LM is fine-tuned to solve the task using the generated rationale as
context, while regularized to output less confident predictions when the
rationale is perturbed. Across four datasets, we show that PINTO significantly
improves the generalization ability of the reasoning LM, yielding higher
performance on both in-distribution and out-of-distribution test sets. Also, we
find that PINTO's rationales are more faithful to its task predictions than
those generated by competitive baselines.
- Abstract（参考訳）: ニューラルネットワークモデル(LM)は、事前訓練されたパラメータに符号化された潜在知識を利用することで、様々な言語ベースの推論タスクにおいて印象的な結果を得た。
この推論プロセスをより明確にするために、最近の研究は、LMの内部知識の合理化を訓練したり、自由テキストの合理性を生成するように促したりすることで、同じLMまたは別個の理性理論によるタスク予測を導くことができる。
しかし、LMの合理化には高価な合理化アノテーションや計算が必要であり、それらの合理化がLMのタスク性能を改善したり、LMの意思決定を忠実に反映することを保証することはない。
本稿では,即時学習による合理化を行うLMパイプラインであるPINTOを提案し,反実正則化による合理化を忠実に行うことを学ぶ。
まず、PINTOは、凍結した合理化LMにフリーテキスト論理を生成することによって、タスク入力に適した推論過程をマップする。
第二に、pintoの推論lmを微調整し、生成した論理を文脈としてタスクを解き、一方、論理が摂動した場合の自信の薄い予測を出力するように正規化する。
4つのデータセットでPINTOはLMの一般化能力を大幅に向上し,分布内および分布外の両方で高い性能を示すことを示した。
また,PINTOの合理性は,競争ベースラインによって生成されるものよりもタスク予測に忠実であることがわかった。
関連論文リスト
- Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。
1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
論文 参考訳（メタデータ） (2024-04-04T12:46:37Z) - Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
LLMの複雑な推論には2行のアプローチが採用されている。
1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。
他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。
具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
論文 参考訳（メタデータ） (2023-11-16T11:26:21Z) - Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof
Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。
EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文 参考訳（メタデータ） (2023-11-12T05:12:49Z) - Characterizing Large Language Models as Rationalizers of
Knowledge-intensive Tasks [6.51301154858045]
大規模言語モデル(LLM)は、タスク固有の最小限の監督力を持つ流動的なテキストを生成するのに熟練している。
専門家による事例を数ショットで表現することで,自然言語における知識誘導的合理化の課題を考察する。
驚いたことに、群衆労働者はクラウドソースの合理化よりも知識に基づく合理化を好んだ。
論文 参考訳（メタデータ） (2023-11-09T01:04:44Z) - DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。
まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。
我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
論文 参考訳（メタデータ） (2023-10-28T10:05:51Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z) - SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。
そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。
忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
論文 参考訳（メタデータ） (2023-05-03T03:47:00Z) - KNIFE: Distilling Reasoning Knowledge From Free-Text Rationales [31.28256104334867]
提案するKNIFEは,FTRから小さい (1B) LMに推論知識を効果的に蒸留できることを示す。
KNIFEは、教師LM(タスク入力とFTR)を微調整してタスク出力を予測し、FTRから教師の隠れた状態への推論知識を伝達する。
第二に、KNIFEは学生LM(タスク入力のみ)を微調整し、その隠れた状態が教師のものと一致するようにする。
論文 参考訳（メタデータ） (2022-12-19T18:49:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。