論文の概要: Artificial Open World for Evaluating AGI: a Conceptual Design
- arxiv url: http://arxiv.org/abs/2206.01044v1
- Date: Thu, 2 Jun 2022 13:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 14:01:23.769557
- Title: Artificial Open World for Evaluating AGI: a Conceptual Design
- Title（参考訳）: agi評価のための人工オープンワールド:概念設計
- Authors: Bowen Xu, Quansheng Ren
- Abstract要約: AGI(Artificial General Intelligence)の評価は、長い間議論され解決されていない重要な問題である。
本稿では,このトラップから飛び出すことを目的とした,Artificial Open Worldという評価手法を提案する。
- 参考スコア（独自算出の注目度）: 1.6498361958317633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How to evaluate Artificial General Intelligence (AGI) is a critical problem
that is discussed and unsolved for a long period. In the research of narrow AI,
this seems not a severe problem, since researchers in that field focus on some
specific problems as well as one or some aspects of cognition, and the criteria
for evaluation are explicitly defined. By contrast, an AGI agent should solve
problems that are never-encountered by both agents and developers. However,
once a developer tests and debugs the agent with a problem, the
never-encountered problem becomes the encountered problem, as a result, the
problem is solved by the developers to some extent, exploiting their
experience, rather than the agents. This conflict, as we call the trap of
developers' experience, leads to that this kind of problems is probably hard to
become an acknowledged criterion. In this paper, we propose an evaluation
method named Artificial Open World, aiming to jump out of the trap. The
intuition is that most of the experience in the actual world should not be
necessary to be applied to the artificial world, and the world should be open
in some sense, such that developers are unable to perceive the world and solve
problems by themselves before testing, though after that they are allowed to
check all the data. The world is generated in a similar way as the actual
world, and a general form of problems is proposed. A metric is proposed aiming
to quantify the progress of research. This paper describes the conceptual
design of the Artificial Open World, though the formalization and the
implementation are left to the future.
- Abstract（参考訳）: AGI(Artificial General Intelligence)の評価は、長い間議論され解決されていない重要な問題である。
狭義のAIの研究では、その分野の研究者が特定の問題と認知の1つまたはいくつかの側面に焦点を当てており、評価基準が明確に定義されているため、これは深刻な問題とは思えない。
対照的に、AGIエージェントは、エージェントと開発者の両方が説明しない問題を解決するべきです。
しかし、一度開発者がエージェントをテストしてデバッグすると、未報告の問題は遭遇する問題となり、結果として、その問題はエージェントではなく彼らの経験をある程度活用して開発者によって解決される。
この対立は、私たちが開発者の経験の罠と呼ぶように、この種の問題が認識される基準になることはおそらく困難である。
本稿では,このトラップから飛び出すことを目的とした,Artificial Open Worldという評価手法を提案する。
直感的に言えば、実際の世界の経験のほとんどは人工世界に適用される必要はなく、開発者がテスト前に世界を理解して問題解決することができないように、世界は何らかの意味で開放されるべきである。
世界は現実の世界と同じような方法で生成され、一般的な問題形式が提案されている。
研究の進捗を定量化する指標が提案されている。
本稿では,人工オープンワールドの概念設計について述べるが,形式化と実装は将来に委ねられている。
関連論文リスト
- Problem Solving Through Human-AI Preference-Based Cooperation [74.39233146428492]
我々は,人間-AI共同構築フレームワークであるHAI-Co2を提案する。
我々は、HAI-Co2を形式化し、それが直面する困難なオープンリサーチ問題について議論する。
本稿では,HAI-Co2のケーススタディと,モノリシックな生成型AIモデルとの比較による有効性を示す。
論文 参考訳（メタデータ） (2024-08-14T11:06:57Z) - OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。
これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。
我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
論文 参考訳（メタデータ） (2024-06-18T16:20:53Z) - DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。
8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。
従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
論文 参考訳（メタデータ） (2024-06-10T20:08:44Z) - A Review on Building Blocks of Decentralized Artificial Intelligence [0.0]
分散人工知能(DEAI)は、最も到達した問題のいくつかを解決する。
Paperの主な焦点は、DEAIソリューションとネットワークの構成要素を特定することである。
最終的には、研究とオープンな問題の今後の方向性が提案される。
論文 参考訳（メタデータ） (2024-02-05T10:54:14Z) - OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。
この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。
マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
論文 参考訳（メタデータ） (2023-04-10T03:55:35Z) - Mathematics, word problems, common sense, and artificial intelligence [0.0]
本稿では,基本知識とコモンセンス推論を組み合わせた単語問題の解法として,現在の人工知能(AI)技術の能力と限界について論じる。
我々は、AI自然言語技術を用いて開発されている3つのアプローチについてレビューする。
純粋な数学的研究のためのAI技術を開発する上で、このような制限が重要であるかどうかは明らかではない、と我々は主張する。
論文 参考訳（メタデータ） (2023-01-23T21:21:39Z) - How Much Coffee Was Consumed During EMNLP 2019? Fermi Problems: A New
Reasoning Challenge for AI [32.54495599722743]
我々は新たな推論問題、すなわちフェルミ問題(Fermi Problems, FPs)を提案する。
FPは、その正確な計算が非現実的であるか不可能であるため、答えをおよそ見積もることができる質問である。
1) クイズとオリンピアドから得られた1k個の実世界のFPの収集,2) より難しい実世界の挑戦のためのサンドボックスとして機能する10k個の合成FPのバンク。
論文 参考訳（メタデータ） (2021-10-27T06:39:33Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳（メタデータ） (2021-09-27T09:56:23Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2021-07-12T14:21:46Z) - Exploring the Nuances of Designing (with/for) Artificial Intelligence [0.0]
我々は,AIの設計において,アルゴリズムと社会の問題に同時に対処する手段として,インフラストラクチャの構築について検討する。
アルゴリズム的なソリューションも、純粋にヒューマニズム的なソリューションも、AIの狭い状態において完全に望ましくない結果をもたらすには十分ではない。
論文 参考訳（メタデータ） (2020-10-22T20:34:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。