論文の概要: Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks

• arxiv url: http://arxiv.org/abs/2311.05085v2
• Date: Wed, 31 Jan 2024 19:17:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 18:48:13.729536
• Title: Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks
• Title（参考訳）: 知識集約型タスクの合理化としての大規模言語モデルの特徴付け
• Authors: Aditi Mishra and Sajjadur Rahman and Hannah Kim and Kushan Mitra and Estevam Hruschka
• Abstract要約: 大規模言語モデル(LLM)は、タスク固有の最小限の監督力を持つ流動的なテキストを生成するのに熟練している。 専門家による事例を数ショットで表現することで,自然言語における知識誘導的合理化の課題を考察する。 驚いたことに、群衆労働者はクラウドソースの合理化よりも知識に基づく合理化を好んだ。
• 参考スコア（独自算出の注目度）: 6.51301154858045
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are proficient at generating fluent text with minimal task-specific supervision. Yet, their ability to provide well-grounded rationalizations for knowledge-intensive tasks remains under-explored. Such tasks, like commonsense multiple-choice questions, require rationales based on world knowledge to support predictions and refute alternate options. We consider the task of generating knowledge-guided rationalization in natural language by using expert-written examples in a few-shot manner. Surprisingly, crowd-workers preferred knowledge-grounded rationales over crowdsourced rationalizations, citing their factuality, sufficiency, and comprehensive refutations. Although LLMs-generated rationales were preferable, further improvements in conciseness and novelty are required. In another study, we show how rationalization of incorrect model predictions erodes humans' trust in LLM-generated rationales. Motivated by these observations, we create a two-stage pipeline to review task predictions and eliminate potential incorrect decisions before rationalization, enabling trustworthy rationale generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスク固有の最小限の監督力を持つ流動的なテキストを生成するのに熟練している。 しかし、知識集約的なタスクに対して十分に根拠のある合理化を提供する能力は、未検討のままである。 このようなタスクは、コモンセンスの多重選択問題のように、予測をサポートし、代替オプションに反論するためには、世界知識に基づいた合理性を必要とする。 専門家による事例を数ショットで表現することで,自然言語における知識誘導的合理化の課題を考察する。 驚いたことに、群衆労働者はクラウドソースの合理化よりも知識に基づく合理化を好んだ。 LLMの生成する論理は好ましいが、簡潔さと新規性をさらに改善する必要がある。 別の研究では、誤ったモデル予測の合理化が、LLM生成の合理性に対する人間の信頼を損なうことを示す。 これらの観察により、タスク予測をレビューし、合理化前の潜在的な誤った決定を排除し、信頼できる合理化生成を可能にする2段階のパイプラインを作成する。

関連論文リスト

• Persuasiveness of Generated Free-Text Rationales in Subjective Decisions: A Case Study on Pairwise Argument Ranking [4.1017420444369215]
  主観的回答を伴うタスクにおいて生成した自由文論理を解析する。 我々は、現実世界のアプリケーションにとって大きな可能性を持つ、非常に主観的なタスクであるペアワイズ引数ランキングに焦点を当てる。 以上の結果から,Llama2-70B-chat のオープンソース LLM は高い説得力のある合理化を実現できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-20T00:28:33Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [32.71672086718057]
  大規模言語モデル (LLM) は, 推論作業における乱雑な内容や無関係な内容を扱う際に, 人間の認知バイアスに類似した障害パターンを示す。 コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。 COPは与えられたステートメントを慎重に分析し、冗長性を効率的に排除しながら、最も関連する情報を識別する。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• ZARA: Improving Few-Shot Self-Rationalization for Small Language Models [29.755148112827502]
  本稿では,自己学習のための擬似並列データを自動的に構築するためのZARA(Zero-shot Augmentation of Rationale-Answer pairs)を提案する。 ZARAは、タスク精度と説明基準の両方において、FEBベンチマーク上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2023-05-12T10:07:12Z)
• SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
  大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。 そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。 忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
  論文  参考訳（メタデータ） (2023-05-03T03:47:00Z)
• PINTO: Faithful Language Reasoning Using Prompt-Generated Rationales [42.98229290301891]
  PINTOは、素早い学習を通じて合理化し、反実正則化を通じて合理性を忠実に理化することを学ぶパイプラインである。 PINTO は LM の推理能力を大幅に向上させ, 分布内および分布外の両方で高い性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-11-03T02:55:54Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Can Rationalization Improve Robustness? [39.741059642044874]
  ニューラルNLPモデルが、その解釈可能な性質に加えて、敵攻撃に対して堅牢性をもたらすかどうかを検討する。 トークンと文レベルの合理化タスクの両方に対して,さまざまなタイプのAddText攻撃を生成する。 実験の結果、合理的モデルでは、特定のシナリオで苦労しながら、堅牢性を改善するという約束が示されることがわかった。
  論文  参考訳（メタデータ） (2022-04-25T17:02:42Z)
• Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU [88.8401599172922]
  タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-09-17T00:36:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。