論文の概要: A Hypothesis-Driven Framework for the Analysis of Self-Rationalising Models

• arxiv url: http://arxiv.org/abs/2402.04787v1
• Date: Wed, 7 Feb 2024 12:26:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 15:39:33.141524
• Title: A Hypothesis-Driven Framework for the Analysis of Self-Rationalising Models
• Title（参考訳）: 自己分析モデルの解析のための仮説駆動フレームワーク
• Authors: Marc Braun, Jenny Kunz
• Abstract要約: 我々はベイジアンネットワークを用いて、タスクの解決方法に関する仮説を実装している。 結果のモデルはGPT-3.5と強い類似性は示さない。 今後の作業において、LCM決定をよりよく近似するフレームワークの可能性だけでなく、これの意味についても論じる。
• 参考スコア（独自算出の注目度）: 0.8702432681310401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The self-rationalising capabilities of LLMs are appealing because the generated explanations can give insights into the plausibility of the predictions. However, how faithful the explanations are to the predictions is questionable, raising the need to explore the patterns behind them further. To this end, we propose a hypothesis-driven statistical framework. We use a Bayesian network to implement a hypothesis about how a task (in our example, natural language inference) is solved, and its internal states are translated into natural language with templates. Those explanations are then compared to LLM-generated free-text explanations using automatic and human evaluations. This allows us to judge how similar the LLM's and the Bayesian network's decision processes are. We demonstrate the usage of our framework with an example hypothesis and two realisations in Bayesian networks. The resulting models do not exhibit a strong similarity to GPT-3.5. We discuss the implications of this as well as the framework's potential to approximate LLM decisions better in future work.
• Abstract（参考訳）: LLMの自己分析能力は、生成した説明が予測の妥当性に関する洞察を与えるため、魅力的である。 しかしながら、予測に対する説明がどの程度忠実であるかは疑問であり、その背後にあるパターンをさらに探究する必要性が高まる。 そこで我々は仮説駆動型統計フレームワークを提案する。 我々はベイズネットワークを用いて、タスク(例えば、自然言語推論)がどのように解決され、その内部状態がテンプレートで自然言語に変換されるかについての仮説を実装する。 これらの説明は、自動評価と人的評価を用いたLLM生成自由テキスト説明と比較される。 これにより、LLMとベイズネットワークの意思決定プロセスがどの程度類似しているかを判断できる。 ベイズネットワークにおける実例仮説と2つの実現例を用いて,本フレームワークの利用例を示す。 結果のモデルはGPT-3.5と強い類似性は示さない。 我々は、今後の作業においてllmの決定をよりよく近似するフレームワークの可能性と同様に、この影響について論じる。

関連論文リスト

• Does Reasoning Emerge? Examining the Probabilities of Causation in Large Language Models [6.922021128239465]
  AIの最近の進歩は、大規模言語モデル(LLM)の能力によって推進されている。 本稿では,LLMが実世界の推論機構をいかに効果的に再現できるかを評価することを目的とした,理論的かつ実用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-15T15:19:11Z)
• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Inference to the Best Explanation in Large Language Models [6.037970847418495]
  Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。 IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。 実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T15:41:23Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
  本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。 我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
  論文  参考訳（メタデータ） (2022-10-04T00:34:01Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Explaining Question Answering Models through Text Generation [42.36596190720944]
  大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整するときに驚くほどうまく機能することが示されている。 エンドツーエンドのアーキテクチャで正しい予測ができるような、LMの知識が何であるかを説明するのは難しい。 エンド・ツー・エンドのアーキテクチャに匹敵するパフォーマンスに達するタスクをいくつか示します。
  論文  参考訳（メタデータ） (2020-04-12T09:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。