論文の概要: How Interpretable are Reasoning Explanations from Prompting Large Language Models?

• arxiv url: http://arxiv.org/abs/2402.11863v2
• Date: Sun, 25 Feb 2024 16:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 21:44:01.586390
• Title: How Interpretable are Reasoning Explanations from Prompting Large Language Models?
• Title（参考訳）: 大規模言語モデルによる説明の解釈はどの程度可能か?
• Authors: Wei Jie Yeo, Ranjan Satapathy, Goh Siow Mong, Rick, Erik Cambria
• Abstract要約: 本稿では,多面的解釈可能性の評価を包括的かつ多面的に行い,信頼度だけでなく,コモンセンス推論ベンチマークにおける堅牢性や有用性についても検討する。 さらに,複数次元の解釈可能性に70%以上の改善をもたらす,自己拡張アライメント・オブ・シント(Self-Entailment-Alignment Chain-of-Thought)と呼ばれる単純な解釈可能性アライメント手法を導入する。
• 参考スコア（独自算出の注目度）: 27.167777123844804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt Engineering has garnered significant attention for enhancing the performance of large language models across a multitude of tasks. Techniques such as the Chain-of-Thought not only bolster task performance but also delineate a clear trajectory of reasoning steps, offering a tangible form of explanation for the audience. Prior works on interpretability assess the reasoning chains yielded by Chain-of-Thought solely along a singular axis, namely faithfulness. We present a comprehensive and multifaceted evaluation of interpretability, examining not only faithfulness but also robustness and utility across multiple commonsense reasoning benchmarks. Likewise, our investigation is not confined to a single prompting technique; it expansively covers a multitude of prevalent prompting techniques employed in large language models, thereby ensuring a wide-ranging and exhaustive evaluation. In addition, we introduce a simple interpretability alignment technique, termed Self-Entailment-Alignment Chain-of-thought, that yields more than 70\% improvements across multiple dimensions of interpretability. Code is available at https://github.com/wj210/CoT_interpretability
• Abstract（参考訳）: Prompt Engineeringは、多数のタスクにわたる大規模言語モデルの性能向上に重要な注目を集めている。 chain-of-thoughtのようなテクニックは、タスクのパフォーマンスを高めるだけでなく、明確な推論ステップの軌跡を示し、聴衆に具体的な説明を提供する。 解釈可能性に関する先行研究は、単数軸(すなわち忠実性)に沿ってのみ思考の連鎖によって得られる推論連鎖を評価する。 本稿では,多面的な解釈可能性の評価を行い,信頼度だけでなく,複数のコモンセンス推論ベンチマークにおける堅牢性や有用性についても検討する。 同様に、我々の調査は単一のプロンプト技術に限らず、大規模言語モデルで広く用いられているプロンプト技術の範囲を広くカバーし、広範かつ徹底的な評価を保証する。 さらに,多次元の解釈性において70\%以上の改善をもたらす,自己補足連鎖思考と呼ばれる単純な解釈可能性アライメント手法を導入する。 コードはhttps://github.com/wj210/CoT_interpretabilityで入手できる。

関連論文リスト

• Pattern-Aware Chain-of-Thought Prompting in Large Language Models [26.641713417293538]
  CoT(Chain-of- Thought)は言語モデルに複雑な多段階推論を誘導する。 このようなタスクにおいて、基礎となる推論パターンがより重要な役割を果たすことを示す。 本稿では,デモパターンの多様性を考慮したプロンプト手法であるPattern-Aware CoTを提案する。
  論文  参考訳（メタデータ） (2024-04-23T07:50:00Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)
• Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts [1.8175282137722093]
  CoT(Chain-of-Thought)メソッドは、LLM(Large Language Models)によって複雑なタスクをステップバイステップで解決する。 事前学習データの分布の不均衡のため、多段階推論を実現する能力は英語に限られている。 言語間の相互言語CoT推論を整合させる手法としてクロス言語木(Cross-ToT)を提案する。
  論文  参考訳（メタデータ） (2023-11-14T11:49:43Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango [11.344587937052697]
  この研究は、大規模言語モデルにおける推論機構のより深い理解に向けた予備的なステップを開始する。 私たちの作業は、シンボル、パターン、テキストというプロンプト内のコンポーネントの1つを除いて、モデルをクエリすることに集中しています。 我々は、テキストがパターンに常識的な知識と意味を与えると仮定する。
  論文  参考訳（メタデータ） (2022-09-16T02:54:00Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning [4.200736775540874]
  我々は,重みを重み付けした線形分類器を特徴として訓練するコモンセンス推論への簡単なアプローチを設計する。 本手法は,近年のコモンセンス推論における教師なし・教師なしの手法と競合する。 パフォーマンスの大部分は、すべての研究対象言語に対する注目の小さなサブセットによって与えられる。
  論文  参考訳（メタデータ） (2021-06-22T21:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。