論文の概要: AI Transparency in the Age of LLMs: A Human-Centered Research Roadmap
- arxiv url: http://arxiv.org/abs/2306.01941v2
- Date: Tue, 8 Aug 2023 01:41:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 16:44:42.567626
- Title: AI Transparency in the Age of LLMs: A Human-Centered Research Roadmap
- Title（参考訳）: LLM時代のAI透明性:人間中心の研究ロードマップ
- Authors: Q. Vera Liao and Jennifer Wortman Vaughan
- Abstract要約: 強力な大規模言語モデル(LLM)の台頭は、イノベーションの絶大な機会をもたらすだけでなく、個人や社会全体のリスクを悪化させます。
我々は LLM と LLM を注入したアプリケーションの開発とデプロイを責任を持って行うための重要な瞬間に到達した。
LLMの透明性を提供するための新しいアプローチを追求することが最重要である。
- 参考スコア（独自算出の注目度）: 46.98582021477066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise of powerful large language models (LLMs) brings about tremendous
opportunities for innovation but also looming risks for individuals and society
at large. We have reached a pivotal moment for ensuring that LLMs and
LLM-infused applications are developed and deployed responsibly. However, a
central pillar of responsible AI -- transparency -- is largely missing from the
current discourse around LLMs. It is paramount to pursue new approaches to
provide transparency for LLMs, and years of research at the intersection of AI
and human-computer interaction (HCI) highlight that we must do so with a
human-centered perspective: Transparency is fundamentally about supporting
appropriate human understanding, and this understanding is sought by different
stakeholders with different goals in different contexts. In this new era of
LLMs, we must develop and design approaches to transparency by considering the
needs of stakeholders in the emerging LLM ecosystem, the novel types of
LLM-infused applications being built, and the new usage patterns and challenges
around LLMs, all while building on lessons learned about how people process,
interact with, and make use of information. We reflect on the unique challenges
that arise in providing transparency for LLMs, along with lessons learned from
HCI and responsible AI research that has taken a human-centered perspective on
AI transparency. We then lay out four common approaches that the community has
taken to achieve transparency -- model reporting, publishing evaluation
results, providing explanations, and communicating uncertainty -- and call out
open questions around how these approaches may or may not be applied to LLMs.
We hope this provides a starting point for discussion and a useful roadmap for
future research.
- Abstract（参考訳）: 強力な大規模言語モデル(llm)の台頭は、イノベーションの絶好の機会をもたらすだけでなく、個人や社会全体に対するリスクも高めている。
我々は LLM と LLM を注入したアプリケーションの開発とデプロイを責任を持って行うための重要な瞬間に達した。
しかし、責任あるAI — 透明性 — の中心的な柱は、LLMに関する現在の議論から大きく逸脱している。
LLMの透明性を提供するための新しいアプローチを追求することが最重要であり、AIとヒューマンコンピュータの相互作用(HCI)の交差点における長年の研究は、人間中心の視点で行う必要があることを強調している。
新たなLLMエコシステムにおける利害関係者のニーズ、新しいタイプのLLM組み込みアプリケーション、LLMに関する新たな利用パターンと課題を考慮し、人々の処理、インタラクション、情報の利用に関する教訓に基づいて、透明性へのアプローチを開発し、設計する必要があります。
私たちは、LLMに透明性を提供する上で生じるユニークな課題と、HCIから学んだ教訓、AI透明性を人間中心の視点で捉えた責任あるAI研究を反映しています。
次に、透明性を達成するためにコミュニティが採用した4つの一般的なアプローチ -- モデルレポート、評価結果の公開、説明の提供、不確実性の伝達 -- を概説し、これらのアプローチがllmにどのように適用されるか、あるいは適用されないかに関するオープン質問を提起します。
これが議論の出発点となり、将来の研究に有用なロードマップになることを願っています。
関連論文リスト
- Federated TrustChain: Blockchain-Enhanced LLM Training and Unlearning [22.33179965773829]
大規模言語モデル(LLM)のためのブロックチェーンベースの新しいフェデレーション学習フレームワークを提案する。
我々のフレームワークはブロックチェーン技術を活用して、各モデルのコントリビューションの改ざん防止記録を作成し、フェデレートされた学習メカニズムをシームレスに統合する革新的なアンラーニング機能を導入しています。
論文 参考訳（メタデータ） (2024-06-06T13:44:44Z) - Navigating LLM Ethics: Advancements, Challenges, and Future Directions [5.023563968303034]
本研究では,人工知能分野におけるLarge Language Models(LLM)を取り巻く倫理的問題に対処する。
LLMと他のAIシステムによってもたらされる共通の倫理的課題を探求する。
幻覚、検証可能な説明責任、検閲の複雑さの復号化といった課題を強調している。
論文 参考訳（メタデータ） (2024-05-14T15:03:05Z) - A Survey on Self-Evolution of Large Language Models [116.54238664264928]
大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。
この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
論文 参考訳（メタデータ） (2024-04-22T17:43:23Z) - Wait, It's All Token Noise? Always Has Been: Interpreting LLM Behavior Using Shapley Value [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。
しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。
本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T22:49:43Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳（メタデータ） (2024-02-19T11:11:08Z) - Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳（メタデータ） (2024-02-13T20:51:58Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳（メタデータ） (2024-01-30T17:38:54Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳（メタデータ） (2023-11-14T13:24:19Z) - Challenges and Contributing Factors in the Utilization of Large Language
Models (LLMs) [10.039589841455136]
本稿では,大規模言語モデル (LLM) がニッチ分野における専門的な質問に対して正確な回答を提供するのに苦慮する領域特異性の問題について考察する。
トレーニングデータを多様化し、きめ細かいモデルを作成し、透明性と解釈可能性を高め、倫理と公正なトレーニングを取り入れることが推奨されている。
論文 参考訳（メタデータ） (2023-10-20T08:13:36Z) - Deception Abilities Emerged in Large Language Models [0.0]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。
本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。
我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
論文 参考訳（メタデータ） (2023-07-31T09:27:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。