論文の概要: Strong and weak alignment of large language models with human values
- arxiv url: http://arxiv.org/abs/2408.04655v1
- Date: Mon, 5 Aug 2024 11:27:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:49:41.594319
- Title: Strong and weak alignment of large language models with human values
- Title（参考訳）: 人的価値を持つ大言語モデルの強弱アライメント
- Authors: Mehdi Khamassi, Marceau Nahon, Raja Chatila,
- Abstract要約: AI(Artificial Intelligent)システムの負の影響を最小限に抑えるには、人間の価値観に合わせる必要がある。
これは、大きな言語モデル(LLM)のようなAIシステムにおいて、人間の価値が浮かび上がるリスクを示す状況を認識するために必要である、と我々は主張する。
そこで我々は,ジョン・サールの有名な提案を拡張して,「単語遷移辞書付き中国語室」と呼ぶ新しい思考実験を提案する。
- 参考スコア（独自算出の注目度）: 1.6590638305972631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Minimizing negative impacts of Artificial Intelligent (AI) systems on human societies without human supervision requires them to be able to align with human values. However, most current work only addresses this issue from a technical point of view, e.g., improving current methods relying on reinforcement learning from human feedback, neglecting what it means and is required for alignment to occur. Here, we propose to distinguish strong and weak value alignment. Strong alignment requires cognitive abilities (either human-like or different from humans) such as understanding and reasoning about agents' intentions and their ability to causally produce desired effects. We argue that this is required for AI systems like large language models (LLMs) to be able to recognize situations presenting a risk that human values may be flouted. To illustrate this distinction, we present a series of prompts showing ChatGPT's, Gemini's and Copilot's failures to recognize some of these situations. We moreover analyze word embeddings to show that the nearest neighbors of some human values in LLMs differ from humans' semantic representations. We then propose a new thought experiment that we call "the Chinese room with a word transition dictionary", in extension of John Searle's famous proposal. We finally mention current promising research directions towards a weak alignment, which could produce statistically satisfying answers in a number of common situations, however so far without ensuring any truth value.
- Abstract（参考訳）: 人工知能(AI)システムの人間社会への悪影響を最小限に抑えるためには、人間の価値観に合わせる必要がある。
しかし、現在のほとんどの研究は、技術的観点からのみこの問題に対処している。例えば、人間のフィードバックからの強化学習に依存し、それが何を意味するのかを無視し、アライメントを行うために必要な現在の手法を改善する。
本稿では,強い値のアライメントと弱い値アライメントを区別することを提案する。
強いアライメントは、エージェントの意図を理解し、推論したり、望ましい効果を因果的に生み出す能力のような認知能力(人間と異なるもの)を必要とする。
これは、大きな言語モデル(LLM)のようなAIシステムにおいて、人間の価値が浮かび上がるリスクを示す状況を認識するために必要である、と我々は主張する。
この区別を説明するために、我々はChatGPT、Gemini、Copilotがこれらの状況を認識しなかったことを示す一連のプロンプトを提示する。
さらに, 単語埋め込みを解析することにより, LLMにおける人間の値に最も近い近傍が, 人間の意味表現と異なることを示す。
そこで我々は,ジョン・サールの有名な提案の延長として,「単語遷移辞書付き中国語室」と呼ばれる新しい思考実験を提案する。
我々は最終的に、いくつかの一般的な状況において統計的に満足できる答えを得られるような、弱いアライメントに向けた現在の有望な研究方向について言及した。
関連論文リスト
- Trying to be human: Linguistic traces of stochastic empathy in language models [0.2638512174804417]
大規模言語モデル(LLM)は、コンピュータ生成コンテンツの質向上を支える重要な要因である。
私たちの研究は、2つの重要な要因が人間とAIの人種にどのように貢献するかをテストする。
論文 参考訳（メタデータ） (2024-10-02T15:46:40Z) - Theory of Mind abilities of Large Language Models in Human-Robot
Interaction : An Illusion? [18.770522926093786]
大規模言語モデルは、様々な自然言語や生成タスクにおいて例外的な生成能力を示している。
高い利害関係とおそらく不可逆的な結果を持つToM能力の特殊応用について検討する。
本研究では,ロボットがLarge Language Model(LLM)を用いてロボットの動作を人間の観察者と同様の方法で評価する,知覚的行動認識の課題に焦点を当てる。
論文 参考訳（メタデータ） (2024-01-10T18:09:36Z) - Learning Human-like Representations to Enable Learning Human Values [11.236150405125754]
我々は,人間とAIエージェントの表現的アライメントが人的価値の学習に与える影響を考察する。
このような表現的アライメントは、パーソナライゼーションの文脈において、人間の価値を安全に学習し、探索する上で有効であることを示す。
論文 参考訳（メタデータ） (2023-12-21T18:31:33Z) - Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。
統計的学習者として、AIシステムはデフォルトで平均に適合する。
ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文 参考訳（メタデータ） (2023-09-02T01:24:59Z) - A Sentence is Worth a Thousand Pictures: Can Large Language Models Understand Hum4n L4ngu4ge and the W0rld behind W0rds? [2.7342737448775534]
LLM(Large Language Models)は、人間の言語的パフォーマンスに関する主張と関連付けられている。
対象認知システムの理論的に有意な表現としてLLMの寄与を分析する。
我々は,より高い処理レベルからのトップダウンフィードバックを通じて,モデルが全体像を見る能力を評価する。
論文 参考訳（メタデータ） (2023-07-26T18:58:53Z) - Taming AI Bots: Controllability of Neural States in Large Language
Models [81.1573516550699]
まず、分析に適する「意味の形式的定義」を導入する。
そして、大きな言語モデル(LLM)が視覚的に訓練される意味のあるデータ」を特徴付ける。
意味の空間に制限された場合、AIボットは制御可能であることを示す。
論文 参考訳（メタデータ） (2023-05-29T03:58:33Z) - When to Make Exceptions: Exploring Language Models as Accounts of Human
Moral Judgment [96.77970239683475]
AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。
AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。
ルール破りの質問応答からなる新しい課題セットを提案する。
論文 参考訳（メタデータ） (2022-10-04T09:04:27Z) - Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs
for Centaurs [22.52332536886295]
本稿では,人間とAIの相互作用を逐次ゲームとして新たに定式化する。
このケースでは、有界人間によるより良い意思決定を支援するというAIの問題は、ベイズ対応のPOMDPに還元される。
我々は、機械が自身の限界と人間の助けを借りて改善する方法について議論する。
論文 参考訳（メタデータ） (2022-04-03T21:00:51Z) - Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
人間は環境における実体を豊かに表現する。
ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。
本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
論文 参考訳（メタデータ） (2020-11-20T12:06:46Z) - Aligning AI With Shared Human Values [85.2824609130584]
私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。
現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。
私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
論文 参考訳（メタデータ） (2020-08-05T17:59:16Z) - Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs [90.20235972293801]
本稿では,人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)の認知能力が,ロボットとの相互作用にどのように影響するかを理解するために,対象状態,ロボット知識,人間(時間的)の認知能力の表現にグラフィカルモデルを採用することを提案する。
推論アルゴリズムは、複数のビューにまたがる全てのロボットから個別のpgを融合し、単一のビューから発生したエラーを克服するより効果的な推論能力を得る。
論文 参考訳（メタデータ） (2020-04-25T23:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。