論文の概要: Understanding and Evaluating Trust in Generative AI and Large Language Models for Spreadsheets

• arxiv url: http://arxiv.org/abs/2412.14062v1
• Date: Wed, 18 Dec 2024 17:08:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:48:21.826826
• Title: Understanding and Evaluating Trust in Generative AI and Large Language Models for Spreadsheets
• Title（参考訳）: スプレッドシートにおける生成AIと大規模言語モデルの信頼度理解と評価
• Authors: Simon Thorne,
• Abstract要約: Generative AI and Large Language Models (LLMs)は、スプレッドシートの公式作成を自動化することを約束している。 しかし, 幻覚, バイアス, 可変ユーザスキルにより, 生成AIから得られる出力は正確で信頼性が高いとは考えられない。 公式の透明性と信頼性を評価した信頼性フレームワークが提案されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Generative AI and Large Language Models (LLMs) hold promise for automating spreadsheet formula creation. However, due to hallucinations, bias and variable user skill, outputs obtained from generative AI cannot be assumed to be accurate or trustworthy. To address these challenges, a trustworthiness framework is proposed based on evaluating the transparency and dependability of the formula. The transparency of the formula is explored through explainability (understanding the formula's reasoning) and visibility (inspecting the underlying algorithms). The dependability of the generated formula is evaluated in terms of reliability (consistency and accuracy) and ethical considerations (bias and fairness). The paper also examines the drivers to these metrics in the form of hallucinations, training data bias and poorly constructed prompts. Finally, examples of mistrust in technology are considered and the consequences explored.
• Abstract（参考訳）: Generative AI and Large Language Models (LLMs)は、スプレッドシートの公式作成を自動化することを約束している。 しかし, 幻覚, バイアス, 可変ユーザスキルにより, 生成AIから得られる出力は正確で信頼性が高いとは考えられない。 これらの課題に対処するため、公式の透明性と信頼性を評価した信頼性フレームワークが提案されている。 公式の透明性は、説明可能性(公式の推論に従えば)と可視性(基礎となるアルゴリズムを検査する)によって探索される。 生成した公式の信頼性(一貫性と正確性)と倫理的考慮(バイアスと公正性)の観点から評価する。 また、これらの指標を幻覚、訓練データバイアス、未構築のプロンプトの形で分析する。 最後に、技術における不信の事例を考察し、その結果について考察する。

関連論文リスト

• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
  マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ 組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。 本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Building Trustworthy AI: Transparent AI Systems via Large Language Models, Ontologies, and Logical Reasoning (TranspNet) [0.7420433640907689]
  AIにおける透明性の欠如、特に医療や金融といった高度な分野での懸念が高まっているため、説明可能な信頼性の高いシステムの必要性が高まっている。 そこで本研究では,シンボルAIと大規模言語モデルを統合したTranspNetパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-13T09:40:37Z)
• Learning to Generate and Evaluate Fact-checking Explanations with Transformers [10.970249299147866]
  XAI(Explainable Artificial Antelligence)の研究 我々は,人間のアクセス可能な説明を生成することによって,意思決定を文脈化し,正当化するトランスフォーマーベースの事実チェックモデルを開発した。 我々は人工知能(AI)による説明と人間の判断を一致させる必要性を強調した。
  論文  参考訳（メタデータ） (2024-10-21T06:22:51Z)
• Automated Trustworthiness Testing for Machine Learning Classifiers [3.3423762257383207]
  本稿では,テキスト分類器が信頼に値するかどうかを判断する信頼度オラクルを自動生成するTOWERを提案する。 我々の仮説は、その説明中の単語が予測されたクラスと意味的に関連している場合、予測は信頼に値するというものである。 その結果,TOWERはノイズの増加に伴って信頼性の低下を検出することができるが,人為的ラベル付きデータセットに対して評価しても有効ではないことがわかった。
  論文  参考訳（メタデータ） (2024-06-07T20:25:05Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
  本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。 LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。 提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
  論文  参考訳（メタデータ） (2023-10-01T04:09:59Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。