論文の概要: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art

• arxiv url: http://arxiv.org/abs/2403.16527v1
• Date: Mon, 25 Mar 2024 08:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:28:08.299185
• Title: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art
• Title（参考訳）: 意思決定のための基礎モデルにおける幻覚検出:芸術的状態のフレキシブル定義とレビュー
• Authors: Neeloy Chakraborty, Melkior Ornik, Katherine Driggs-Campbell,
• Abstract要約: 意思決定タスクにおける基礎モデルの現状について論じる。 我々は、モデル決定の確実性を定量化できるシステムを後退して同時に設計する必要があると主張している。
• 参考スコア（独自算出の注目度）: 7.072820266877787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous systems are soon to be ubiquitous, from manufacturing autonomy to agricultural field robots, and from health care assistants to the entertainment industry. The majority of these systems are developed with modular sub-components for decision-making, planning, and control that may be hand-engineered or learning-based. While these existing approaches have been shown to perform well under the situations they were specifically designed for, they can perform especially poorly in rare, out-of-distribution scenarios that will undoubtedly arise at test-time. The rise of foundation models trained on multiple tasks with impressively large datasets from a variety of fields has led researchers to believe that these models may provide common sense reasoning that existing planners are missing. Researchers posit that this common sense reasoning will bridge the gap between algorithm development and deployment to out-of-distribution tasks, like how humans adapt to unexpected scenarios. Large language models have already penetrated the robotics and autonomous systems domains as researchers are scrambling to showcase their potential use cases in deployment. While this application direction is very promising empirically, foundation models are known to hallucinate and generate decisions that may sound reasonable, but are in fact poor. We argue there is a need to step back and simultaneously design systems that can quantify the certainty of a model's decision, and detect when it may be hallucinating. In this work, we discuss the current use cases of foundation models for decision-making tasks, provide a general definition for hallucinations with examples, discuss existing approaches to hallucination detection and mitigation with a focus on decision problems, and explore areas for further research in this exciting field.
• Abstract（参考訳）: 自動化システムはすぐに、製造業の自律性から農業用フィールドロボット、医療アシスタントからエンターテイメント産業まで、どこにでも行き渡るようになる。 これらのシステムの大部分は、手作業や学習に基づく意思決定、計画、制御のためのモジュールサブコンポーネントで開発されている。 これらの既存のアプローチは、特別に設計された状況下ではうまく機能することが示されていますが、テスト時に間違いなく発生する、まれな配布外のシナリオでは特にパフォーマンスが悪くなります。 様々な分野から、驚くほど大きなデータセットを持つ複数のタスクでトレーニングされた基礎モデルの台頭は、これらのモデルが既存のプランナーが欠落しているという共通の感覚を与えるかもしれないと研究者の間で信じられている。 研究者らは、この常識推論は、アルゴリズム開発とデプロイメントの間のギャップを、人間が予期しないシナリオにどのように適応するかといった、配布外タスクに埋めるものだと仮定している。 大規模な言語モデルはすでにロボットと自律システムドメインを浸透させており、研究者はデプロイにおける潜在的なユースケースを実証しようとしている。 このアプリケーションの方向性は非常に有望だが、ファンデーションモデルは、合理的に聞こえるが実際は貧弱な決定を幻覚し、生成することが知られている。 我々は、モデル決定の確実性を定量化し、それが幻覚している可能性があることを検出できるシステムを後退して同時に設計する必要があると主張している。 本稿では,意思決定タスクの基盤モデルの現状について論じ,例による幻覚の一般的な定義を提供し,意思決定問題に焦点をあてた幻覚の検出と緩和への既存のアプローチについて議論し,このエキサイティングな分野のさらなる研究分野を探究する。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Inverse decision-making using neural amortized Bayesian actors [19.128377007314317]
  我々は、教師なしの方法で幅広いパラメータ設定で訓練されたニューラルネットワークを用いてベイズアクターを記憶する。 推定された後続分布は,その存在する解析解を用いて得られた分布と密接に一致していることを示す。 そして、より複雑なコスト関数において、先行とコストの間の識別可能性の問題が発生することを示した。
  論文  参考訳（メタデータ） (2024-09-04T10:31:35Z)
• Foundation Models for Autonomous Robots in Unstructured Environments [15.517532442044962]
  この研究は、ロボットと非構造環境の2つの分野における基礎モデルの応用を体系的にレビューした。 LLMの言語能力は、人間とロボットの相互作用の知覚を改善するために、他の特徴よりも利用されてきた。 LLMの使用は、プロジェクトの管理と建設における安全性、災害管理における自然災害検出により多くの応用を実証した。
  論文  参考訳（メタデータ） (2024-07-19T13:26:52Z)
• A Reliable Framework for Human-in-the-Loop Anomaly Detection in Time Series [17.08674819906415]
  HILADは、人間とAIの動的かつ双方向なコラボレーションを促進するために設計された、新しいフレームワークである。 ビジュアルインターフェースを通じて、HILADはドメインの専門家に、大規模な予期せぬモデルの振る舞いを検出し、解釈し、修正する権限を与えます。
  論文  参考訳（メタデータ） (2024-05-06T07:44:07Z)
• Multi-Agent Verification and Control with Probabilistic Model Checking [4.56877715768796]
  確率的モデルチェック(probabilistic model check)は、ソフトウェアやハードウェアシステムに関する公式な自動推論手法である。 論理学、オートマトン、グラフ理論から最適化、数値法、制御に至るまで、様々な分野のアイデアと技術に基づいて構築される。 近年ではゲーム理論のアイデアを統合するために確率的モデル検査も拡張されている。
  論文  参考訳（メタデータ） (2023-08-05T09:31:32Z)
• Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners [85.03486419424647]
  KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。 KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
  論文  参考訳（メタデータ） (2023-07-04T21:25:12Z)
• Foundation Models for Decision Making: Problems, Methods, and Opportunities [124.79381732197649]
  大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。 ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。 基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
  論文  参考訳（メタデータ） (2023-03-07T18:44:07Z)
• Gradient Optimization for Single-State RMDPs [0.0]
  自律運転、ロボット部品の制御、医療診断といった現代の問題は、分析的に解決することがますます困難になっている。 データ駆動型ソリューションは、人によって理解される以上の複雑さの次元に問題があるという強力な選択肢です。 残念ながら、データ駆動モデルは最悪のシナリオでどのように機能するかに不確実性を伴うことが多い。 自律運転や医療などの分野では、これらの障害の結果は破滅的なものになる可能性がある。
  論文  参考訳（メタデータ） (2022-09-25T18:50:02Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning [68.74447489372037]
  本稿では,因果探索と反事実推論のためのアルゴリズムの開発を目的とした,高忠実度シミュレーション環境を提案する。 私たちの作業の中核となるコンポーネントは、複雑なシナリオを定義して作成することが簡単になるような、テキストの緊急性を導入することです。 我々は3つの最先端の手法による実験を行い、ベースラインを作成し、この環境の可利用性を強調する。
  論文  参考訳（メタデータ） (2021-06-25T00:21:41Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。