論文の概要: Large Language Models as Fiduciaries: A Case Study Toward Robustly
Communicating With Artificial Intelligence Through Legal Standards
- arxiv url: http://arxiv.org/abs/2301.10095v1
- Date: Tue, 24 Jan 2023 16:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:17:47.012127
- Title: Large Language Models as Fiduciaries: A Case Study Toward Robustly
Communicating With Artificial Intelligence Through Legal Standards
- Title（参考訳）: 実演家としての大規模言語モデル--法的基準による人工知能とのロバストなコミュニケーションをめざして
- Authors: John J. Nay
- Abstract要約: 法的な基準は、本質的に曖昧で具体的でない目標の堅牢なコミュニケーションを促進する。
私たちの研究は、法律標準のAI理解をより広く評価するためのフレームワークに向けた最初のステップです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial Intelligence (AI) is taking on increasingly autonomous roles,
e.g., browsing the web as a research assistant and managing money. But
specifying goals and restrictions for AI behavior is difficult. Similar to how
parties to a legal contract cannot foresee every potential "if-then"
contingency of their future relationship, we cannot specify desired AI behavior
for all circumstances. Legal standards facilitate the robust communication of
inherently vague and underspecified goals. Instructions (in the case of
language models, "prompts") that employ legal standards will allow AI agents to
develop shared understandings of the spirit of a directive that can adapt to
novel situations, and generalize expectations regarding acceptable actions to
take in unspecified states of the world. Standards have built-in context that
is lacking from other goal specification languages, such as plain language and
programming languages. Through an empirical study on thousands of evaluation
labels we constructed from U.S. court opinions, we demonstrate that large
language models (LLMs) are beginning to exhibit an "understanding" of one of
the most relevant legal standards for AI agents: fiduciary obligations.
Performance comparisons across models suggest that, as LLMs continue to exhibit
improved core capabilities, their legal standards understanding will also
continue to improve. OpenAI's latest LLM has 78% accuracy on our data, their
previous release has 73% accuracy, and a model from their 2020 GPT-3 paper has
27% accuracy (worse than random). Our research is an initial step toward a
framework for evaluating AI understanding of legal standards more broadly, and
for conducting reinforcement learning with legal feedback (RLLF).
- Abstract（参考訳）: 人工知能(AI)は、研究アシスタントとしてウェブを閲覧し、資金を管理するなど、ますます自律的な役割を担っている。
しかし、AI行動の目標と制限を指定することは難しい。
法的契約の当事者が将来の関係のあらゆる潜在的な「もし」偶然を予見できないのと同様に、あらゆる状況において望ましいai行動を特定することはできない。
法的基準は、本質的に曖昧で不特定な目標の堅牢なコミュニケーションを促進する。
法的基準を用いる命令(言語モデルの場合、"prompts")は、AIエージェントが、新しい状況に適応可能な指令の精神についての共通理解を発達させ、世界の特定されていない状態に対処するための許容可能な行動に関する期待を一般化することを可能にする。
標準には、平易な言語やプログラミング言語など、他の目標仕様言語に欠けるコンテキストが組み込まれている。
米国裁判所の意見から構築した何千もの評価ラベルに関する実証的研究を通じて、我々は、大規模言語モデル(LLM)がAIエージェントの最も関係の深い法的基準の1つ、すなわち義務を「理解」し始めていることを実証した。
モデル間でのパフォーマンス比較は、LLMが改良されたコア能力を示し続けるにつれ、法的基準の理解も改善され続けることを示唆している。
openaiの最新のllmはデータに78%の精度があり、以前のリリースでは73%の精度があり、2020年のgpt-3論文のモデルでは27%の精度(ランダムより低い)がある。
我々の研究は、法律標準に対するAI理解をより広く評価し、法的フィードバック(RLLF)による強化学習を実施するためのフレームワークに向けた最初のステップである。
関連論文リスト
- Large Language Models as Corporate Lobbyists [0.0]
コーポレートロビー活動を行う大規模言語モデルの概念実証を実証する。
自己回帰的大言語モデル(OpenAIのtext-davinci-003)は、提案された米国議会法案が特定の公共企業に関連するかどうかを決定する。
モデルが関連するものとみなす法案について、モデルは提案された法律を変更するよう議会に説得するために、法案のスポンサーに手紙を起草する。
論文 参考訳（メタデータ） (2023-01-03T16:25:52Z) - When to Make Exceptions: Exploring Language Models as Accounts of Human
Moral Judgment [96.77970239683475]
AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。
AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。
ルール破りの質問応答からなる新しい課題セットを提案する。
論文 参考訳（メタデータ） (2022-10-04T09:04:27Z) - Law Informs Code: A Legal Informatics Approach to Aligning Artificial
Intelligence with Humans [0.0]
法的な解釈と法的な解釈は、不透明な人間の価値を妥当な指令に変換する計算エンジンを形成する。
論理インフォームズ・コード(Law Informs Code)は、複雑な計算法的なプロセスを捉え、それらをAIに埋め込む研究課題である。
論文 参考訳（メタデータ） (2022-09-14T00:49:09Z) - Aligning Artificial Intelligence with Humans through Public Policy [0.0]
このエッセイは、下流のタスクに活用可能なポリシーデータの構造を学ぶAIの研究の概要を概説する。
これはAIとポリシーの"理解"フェーズを表していると私たちは考えていますが、AIを整合させるために人的価値の重要な源としてポリシーを活用するには、"理解"ポリシーが必要です。
論文 参考訳（メタデータ） (2022-06-25T21:31:14Z) - Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。
AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。
我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文 参考訳（メタデータ） (2022-04-11T14:36:39Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Truthful AI: Developing and governing AI that does not lie [0.26385121748044166]
嘘をつくために口頭で嘘をつくのは有害です。
嘘は伝統的に人間関係だったが、AIシステムはますます普及しつつある。
このことは、AIの「リー」による害をどう抑えるべきかという疑問を提起する
論文 参考訳（メタデータ） (2021-10-13T12:18:09Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z) - Multisource AI Scorecard Table for System Evaluation [3.74397577716445]
本稿では、AI/機械学習(ML)システムの開発者およびユーザに対して標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について述べる。
本稿では,インテリジェンス・コミュニティ・ディレクティブ(ICD)203で概説されている分析的トレードクラフト標準が,AIシステムの性能を評価するためのフレームワークを提供する方法について考察する。
論文 参考訳（メタデータ） (2021-02-08T03:37:40Z) - Aligning AI With Shared Human Values [85.2824609130584]
私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。
現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。
私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
論文 参考訳（メタデータ） (2020-08-05T17:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。