論文の概要: Can LLMs faithfully generate their layperson-understandable 'self'?: A Case Study in High-Stakes Domains

• arxiv url: http://arxiv.org/abs/2412.07781v1
• Date: Mon, 25 Nov 2024 06:54:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:28:33.195863
• Title: Can LLMs faithfully generate their layperson-understandable 'self'?: A Case Study in High-Stakes Domains
• Title（参考訳）: LLMは素人理解可能な「自己」を忠実に生成できるか : ハイテイクドメインを事例として
• Authors: Arion Das, Asutosh Mishra, Amitesh Patel, Soumilya De, V. Gurucharan, Kripabandhu Ghosh,
• Abstract要約: 法、健康、ファイナンスという3つの優先度の高いアプリケーションドメインにまたがって、textitReQuesting$と呼ばれるLDMの説明可能性という新しい概念を導入します。 提案した概念は、多タスクにおける説明可能なレイマン理解可能なアルゴリズムを高次本質的推論により忠実に生成することを示す。
• 参考スコア（独自算出の注目度）: 2.8140639769111133
• License:
• Abstract: Large Language Models (LLMs) have significantly impacted nearly every domain of human knowledge. However, the explainability of these models esp. to laypersons, which are crucial for instilling trust, have been examined through various skeptical lenses. In this paper, we introduce a novel notion of LLM explainability to laypersons, termed $\textit{ReQuesting}$, across three high-priority application domains -- law, health and finance, using multiple state-of-the-art LLMs. The proposed notion exhibits faithful generation of explainable layman-understandable algorithms on multiple tasks through high degree of reproducibility. Furthermore, we observe a notable alignment of the explainable algorithms with intrinsic reasoning of the LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間の知識のほとんどすべての領域に大きな影響を与えています。 しかし, 信頼度を高めるために重要であり, 様々な懐疑レンズを用いてこれらのモデルの説明可能性について検討した。 本稿では, 法, 健康, 財務の3分野にまたがって, 複数の最先端のLCMを用いて, レイパーソンに「$\textit{ReQuesting}$」という, LLMの説明可能性の新たな概念を紹介する。 提案した概念は、高い再現性を通して、複数のタスクに対する説明可能なレイマン理解可能なアルゴリズムの忠実な生成を示す。 さらに,LLMの本質的な推論による説明可能なアルゴリズムの顕著なアライメントを観察する。

関連論文リスト

• Do LLMs Really Adapt to Domains? An Ontology Learning Perspective [2.0755366440393743]
  大規模言語モデル(LLM)は、様々なアプリケーション領域において、様々な自然言語処理タスクに対して前例のない進歩を見せている。 近年の研究では、LLMが知識ベースコンプリート(KBC)やオントロジー学習(OL)などの語彙意味タスクに活用できることが示されている。 LLMは本当にドメインに適応し、構造化知識の抽出に一貫性を持ち続けるのか、それとも推論の代わりに語彙感覚のみを学ぶのか?
  論文  参考訳（メタデータ） (2024-07-29T13:29:43Z)
• Can Large Language Models Understand DL-Lite Ontologies? An Empirical Study [10.051572826948762]
  大規模モデル(LLM)は、幅広いタスクを解く上で大きな成果を上げている。 我々は、記述論理(DL-Lite)を理解するLLMの能力を実証的に分析する。 LLMは概念と役割の形式的構文とモデル理論的意味論を理解する。
  論文  参考訳（メタデータ） (2024-06-25T13:16:34Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。