論文の概要: CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification

• arxiv url: http://arxiv.org/abs/2303.03628v1
• Date: Tue, 7 Mar 2023 03:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 16:35:09.239661
• Title: CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification
• Title（参考訳）: CoTEVer: 説明検証のための思考プロンプトアノテーションツールキットのチェーン
• Authors: Seungone Kim, Se June Joo, Yul Jang, Hyungjoo Chae, Jinyoung Yeo
• Abstract要約: CoT(Chain-of-Thought)プロンプトにより、最終予測の前に説明を生成することで、大規模言語モデル(LLM)が複雑な推論タスクを解くことができる。 有望な能力にもかかわらず、CoTの重要な欠点は、生成された説明の事実に大きく影響されていることである。 説明の正確性を改善するためには,説明データを用いた微調整言語モデルが必要である。 CoTEVerは、生成された説明の事実的正当性を注釈付けし、間違った説明の修正データを収集するためのツールキットである。
• 参考スコア（独自算出の注目度）: 1.658938566492109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) prompting enables large language models (LLMs) to solve complex reasoning tasks by generating an explanation before the final prediction. Despite it's promising ability, a critical downside of CoT prompting is that the performance is greatly affected by the factuality of the generated explanation. To improve the correctness of the explanations, fine-tuning language models with explanation data is needed. However, there exists only a few datasets that can be used for such approaches, and no data collection tool for building them. Thus, we introduce CoTEVer, a tool-kit for annotating the factual correctness of generated explanations and collecting revision data of wrong explanations. Furthermore, we suggest several use cases where the data collected with CoTEVer can be utilized for enhancing the faithfulness of explanations. Our toolkit is publicly available at https://github.com/SeungoneKim/CoTEVer.
• Abstract（参考訳）: CoT(Chain-of-Thought)プロンプトにより、最終予測の前に説明を生成することで、大規模言語モデル(LLM)が複雑な推論タスクを解くことができる。 有望な能力にもかかわらず、CoTの重要な欠点は、生成された説明の事実に大きく影響されていることである。 説明の正確性を改善するためには,説明データを用いた微調整言語モデルが必要である。 しかし、そのようなアプローチに使用できるデータセットはごくわずかであり、それらを構築するためのデータ収集ツールはない。 そこで我々は,生成した説明の事実的正当性を注釈付けし,誤った説明の修正データを収集するツールキットであるCoTEVerを紹介する。 さらに,CoTEVerで収集したデータを,説明の忠実性を高めるために活用できるいくつかのユースケースを提案する。 私たちのツールキットはhttps://github.com/SeungoneKim/CoTEVerで公開されています。

関連論文リスト

• Efficient and Accurate Explanation Estimation with Distribution Compression [17.299418894910627]
  我々は,より効率的かつ正確な説明推定のための新しいパラダイムであるCompress Then Explain (CTE)を紹介した。 CTEはカーネルスライニングによる分散圧縮を用いて、限界分布を最もよく近似するデータサンプルを得る。 2-3倍のサンプル、すなわち2-3倍のモデル評価を必要とするサンプルを用いて、オンパー説明近似誤差をしばしば達成する。
  論文  参考訳（メタデータ） (2024-06-26T13:21:24Z)
• A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
  CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。 本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:07:13Z)
• Better patching using LLM prompting, via Self-Consistency [5.892272127970584]
  自己整合性(Self-Consistency, S-C)は、問題の説明を生成する上で、エキサイティングで極めて優れたテクニックである。 本稿では,修正作業のコミットログを説明として,S-C手法のプログラム修復への応用について述べる。 我々は,MODITデータセット上で,プログラムの修正を促そうとする従来のアプローチを破って,最先端の成果を得た。
  論文  参考訳（メタデータ） (2023-05-31T18:28:46Z)
• Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting [43.458726163197824]
  大規模言語モデル(LLM)は、最終的な出力を与える前にステップバイステップの推論を生成することで、多くのタスクにおいて強力なパフォーマンスを達成することができる。 モデル予測の真の理由を,CoT の説明が体系的に誤って表現できることが判明した。
  論文  参考訳（メタデータ） (2023-05-07T22:44:25Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• ExaRanker: Explanation-Augmented Neural Ranker [67.4894325619275]
  本研究は,ニューラルランサーが説明の恩恵を受けることを示す。 我々は、GPT-3.5のようなLCMを用いて、説明付き検索データセットを増強する。 ExaRankerと呼ばれる私たちのモデルは、数千の例で微調整され、合成説明は、説明なしで3倍の例で微調整されたモデルと同等に実行される。
  論文  参考訳（メタデータ） (2023-01-25T11:03:04Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
  そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。 タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。 近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
  論文  参考訳（メタデータ） (2022-12-04T23:59:41Z)
• Task-Agnostic Graph Explanations [50.17442349253348]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データをエンコードする強力なツールとして登場した。 既存の学習ベースのGNN説明手法は、訓練においてタスク固有である。 本稿では、下流タスクの知識のない自己監督下で訓練されたタスク非依存のGNN Explainer(TAGE)を提案する。
  論文  参考訳（メタデータ） (2022-02-16T21:11:47Z)
• Explaining Inference Queries with Bayesian Optimization [16.448164301763168]
  推論クエリ説明は、予想外の集約クエリ結果を推論データで説明しようとする。 MLパイプラインのソース、トレーニング、推論データから説明を得る必要がある。 ベイズ最適化(BO)を用いた推論クエリ記述のための新しいフレームワークであるBOExplainを提案する。
  論文  参考訳（メタデータ） (2021-02-10T08:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。