論文の概要: Evaluating the Capabilities of LLMs for Supporting Anticipatory Impact Assessment

• arxiv url: http://arxiv.org/abs/2401.18028v2
• Date: Mon, 20 May 2024 23:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 18:41:35.655012
• Title: Evaluating the Capabilities of LLMs for Supporting Anticipatory Impact Assessment
• Title（参考訳）: 予測影響評価支援のためのLCMの能力評価
• Authors: Mowafak Allaham, Nicholas Diakopoulos,
• Abstract要約: 我々は、微調整完了モデルにより、社会におけるAIの高品質な影響を生み出す可能性を示す。 我々は,コヒーレンス,構造,妥当性,妥当性について検討した。 命令ベースモデルが生み出す影響は,特定のカテゴリのインパクトの生成にギャップがあることが判明した。
• 参考スコア（独自算出の注目度）: 3.660182910533372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaining insight into the potential negative impacts of emerging Artificial Intelligence (AI) technologies in society is a challenge for implementing anticipatory governance approaches. One approach to produce such insight is to use Large Language Models (LLMs) to support and guide experts in the process of ideating and exploring the range of undesirable consequences of emerging technologies. However, performance evaluations of LLMs for such tasks are still needed, including examining the general quality of generated impacts but also the range of types of impacts produced and resulting biases. In this paper, we demonstrate the potential for generating high-quality and diverse impacts of AI in society by fine-tuning completion models (GPT-3 and Mistral-7B) on a diverse sample of articles from news media and comparing those outputs to the impacts generated by instruction-based (GPT-4 and Mistral-7B-Instruct) models. We examine the generated impacts for coherence, structure, relevance, and plausibility and find that the generated impacts using Mistral-7B, a small open-source model fine-tuned on impacts from the news media, tend to be qualitatively on par with impacts generated using a more capable and larger scale model such as GPT-4. Moreover, we find that impacts produced by instruction-based models had gaps in the production of certain categories of impacts in comparison to fine-tuned models. This research highlights a potential bias in the range of impacts generated by state-of-the-art LLMs and the potential of aligning smaller LLMs on news media as a scalable alternative to generate high quality and more diverse impacts in support of anticipatory governance approaches.
• Abstract（参考訳）: 社会における人工知能(AI)技術の潜在的なネガティブな影響に関する洞察を得ることは、予想されるガバナンスアプローチを実装する上での課題である。 このような洞察を生み出すための1つのアプローチは、新興技術の望ましくない結果の範囲を考案し探求する過程で専門家を支援し、ガイドするために、LLM(Large Language Models)を使用することである。 しかし、このようなタスクに対するLCMの性能評価は、生成した影響の一般的な品質だけでなく、生成した影響の種類やバイアスも調査するなど、依然として必要である。 本稿では, メディアからの多種多様な記事に対して, 微調整完了モデル(GPT-3, Mistral-7B) を用いて, 社会におけるAIの高品質で多様な影響を生み出す可能性を示し, インストラクションベースモデル(GPT-4, Mistral-7B-Instruct) による影響と比較する。 我々は, コーヒーレンス, 構造, 妥当性, 信頼性について検討し, メディアからの影響を微調整した小型オープンソースモデルMistral-7Bによる影響は, GPT-4のようなより有能で大規模なモデルで生成された影響と同程度に質的に評価される傾向にあることを示した。 さらに, 命令ベースモデルによる影響は, 微調整モデルと比較して, ある種の影響カテゴリーの生成にギャップがあることが判明した。 この研究は、最先端のLLMが生み出す影響範囲における潜在的なバイアスと、予想されるガバナンスアプローチを支援するために、より高品質で多様な影響を生み出すためのスケーラブルな代替手段として、より小さなLLMをニュースメディアに整合させる可能性を強調している。

関連論文リスト

• Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study [0.3932300766934226]
  本稿では,大規模言語モデル(LLM)と検索拡張生成(RAG)を用いた質問応答システム(Q&A)の性能に及ぼすドメイン固有モデル微調整と推論機構の影響について検討する。 FinanceBench SECのファイナンシャルファイリングデータセットを用いて、RAGでは、微調整の埋め込みモデルと微調整のLDMを組み合わせることで、ジェネリックモデルよりも精度が高いことを観察する。 本稿では,Q&AAIの主要な技術コンポーネントを抽出する構造化された技術設計空間を提案する。
  論文  参考訳（メタデータ） (2024-04-17T23:00:03Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• FIMBA: Evaluating the Robustness of AI in Genomics via Feature Importance Adversarial Attacks [0.0]
  本稿では、認識された公開ゲノムデータセット上の下流タスクを利用するAIモデルの脆弱性を実証する。 我々は、実際のデータを模倣し、モデルの意思決定を混乱させながら、入力変換に焦点を当てた攻撃を展開することによって、モデルの堅牢性を損なう。 実験の結果, 精度が低下し, 偽陽性や偽陰性が増加し, モデル性能が低下していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-19T12:04:31Z)
• Anticipating Impacts: Using Large-Scale Scenario Writing to Explore Diverse Implications of Generative AI in the News Environment [3.660182910533372]
  我々は、ジェネレーティブAIの潜在的なネガティブな影響について、3つの利害関係者グループの展望を広げ、期待を捉えることを目的としている。 シナリオ記述と参加観を用いて、認知的に多様な未来の想像力を掘り下げる。 生成的AI影響評価のためのツールボックスとして,シナリオ記述と参加予測の有用性について論じる。
  論文  参考訳（メタデータ） (2023-10-10T06:59:27Z)
• Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias [57.42417061979399]
  近年の研究では、インストラクションチューニング(IT)と人間フィードバック(RLHF)による強化学習によって、大規模言語モデル(LM)の能力が劇的に向上していることが示されている。 本研究では,ITとRLHFがLMの意思決定と推論に与える影響について検討する。 以上の結果から,GPT-3,Mistral,T5ファミリーの各種モデルにおけるこれらのバイアスの存在が示唆された。
  論文  参考訳（メタデータ） (2023-08-01T01:39:25Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Predictability and Surprise in Large Generative Models [8.055204456718576]
  大規模プレトレーニングは、有能で汎用的な生成モデルを作成するための技術として登場した。 本稿では,そのようなモデルの直観的特性を強調し,この特性の政策的含意について論じる。
  論文  参考訳（メタデータ） (2022-02-15T23:21:23Z)
• Unpacking the Expressed Consequences of AI Research in Broader Impact Statements [23.3030110636071]
  本稿では,2020 Neural Information Processing Systems カンファレンスで記述された文のサンプルのテーマ分析の結果を紹介する。 私たちが特定するテーマは、結果の表現方法と影響の領域に関連するカテゴリに分類されます。 結果を踏まえて、将来のイテレーションでより広範なインパクトステートメントをどのように実装して、潜在的な目標とよりよく一致させることができるか、という視点を提供します。
  論文  参考訳（メタデータ） (2021-05-11T02:57:39Z)
• Heterogeneous Demand Effects of Recommendation Strategies in a Mobile Application: Evidence from Econometric Models and Machine-Learning Instruments [73.7716728492574]
  本研究では,モバイルチャネルにおける様々なレコメンデーション戦略の有効性と,個々の製品に対する消費者の実用性と需要レベルに与える影響について検討する。 提案手法では, 有効性に有意な差が認められた。 我々は,ユーザ生成レビューのディープラーニングモデルに基づいて,製品分化(アイソレーション)をキャプチャする新しいエコノメトリ機器を開発した。
  論文  参考訳（メタデータ） (2021-02-20T22:58:54Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。