論文の概要: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art

• arxiv url: http://arxiv.org/abs/2403.16527v1
• Date: Mon, 25 Mar 2024 08:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:28:08.299185
• Title: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art
• Title（参考訳）: 意思決定のための基礎モデルにおける幻覚検出:芸術的状態のフレキシブル定義とレビュー
• Authors: Neeloy Chakraborty, Melkior Ornik, Katherine Driggs-Campbell,
• Abstract要約: 意思決定タスクにおける基礎モデルの現状について論じる。 我々は、モデル決定の確実性を定量化できるシステムを後退して同時に設計する必要があると主張している。
• 参考スコア（独自算出の注目度）: 7.072820266877787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous systems are soon to be ubiquitous, from manufacturing autonomy to agricultural field robots, and from health care assistants to the entertainment industry. The majority of these systems are developed with modular sub-components for decision-making, planning, and control that may be hand-engineered or learning-based. While these existing approaches have been shown to perform well under the situations they were specifically designed for, they can perform especially poorly in rare, out-of-distribution scenarios that will undoubtedly arise at test-time. The rise of foundation models trained on multiple tasks with impressively large datasets from a variety of fields has led researchers to believe that these models may provide common sense reasoning that existing planners are missing. Researchers posit that this common sense reasoning will bridge the gap between algorithm development and deployment to out-of-distribution tasks, like how humans adapt to unexpected scenarios. Large language models have already penetrated the robotics and autonomous systems domains as researchers are scrambling to showcase their potential use cases in deployment. While this application direction is very promising empirically, foundation models are known to hallucinate and generate decisions that may sound reasonable, but are in fact poor. We argue there is a need to step back and simultaneously design systems that can quantify the certainty of a model's decision, and detect when it may be hallucinating. In this work, we discuss the current use cases of foundation models for decision-making tasks, provide a general definition for hallucinations with examples, discuss existing approaches to hallucination detection and mitigation with a focus on decision problems, and explore areas for further research in this exciting field.
• Abstract（参考訳）: 自動化システムはすぐに、製造業の自律性から農業用フィールドロボット、医療アシスタントからエンターテイメント産業まで、どこにでも行き渡るようになる。 これらのシステムの大部分は、手作業や学習に基づく意思決定、計画、制御のためのモジュールサブコンポーネントで開発されている。 これらの既存のアプローチは、特別に設計された状況下ではうまく機能することが示されていますが、テスト時に間違いなく発生する、まれな配布外のシナリオでは特にパフォーマンスが悪くなります。 様々な分野から、驚くほど大きなデータセットを持つ複数のタスクでトレーニングされた基礎モデルの台頭は、これらのモデルが既存のプランナーが欠落しているという共通の感覚を与えるかもしれないと研究者の間で信じられている。 研究者らは、この常識推論は、アルゴリズム開発とデプロイメントの間のギャップを、人間が予期しないシナリオにどのように適応するかといった、配布外タスクに埋めるものだと仮定している。 大規模な言語モデルはすでにロボットと自律システムドメインを浸透させており、研究者はデプロイにおける潜在的なユースケースを実証しようとしている。 このアプリケーションの方向性は非常に有望だが、ファンデーションモデルは、合理的に聞こえるが実際は貧弱な決定を幻覚し、生成することが知られている。 我々は、モデル決定の確実性を定量化し、それが幻覚している可能性があることを検出できるシステムを後退して同時に設計する必要があると主張している。 本稿では,意思決定タスクの基盤モデルの現状について論じ,例による幻覚の一般的な定義を提供し,意思決定問題に焦点をあてた幻覚の検出と緩和への既存のアプローチについて議論し,このエキサイティングな分野のさらなる研究分野を探究する。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Inverse decision-making using neural amortized Bayesian actors [19.128377007314317]
  我々は、教師なしの方法で幅広いパラメータ設定で訓練されたニューラルネットワークを用いてベイズアクターを記憶する。 本稿では,本手法がモデル比較の原理と,先行とコストの識別不能につながる要因を解消するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2024-09-04T10:31:35Z)
• Explaining Relation Classification Models with Semantic Extents [1.7604348079019634]
  説明責任の欠如は、多くの現実世界のアプリケーションで現在複雑になっている要素である。 関係分類タスクにおける決定パターンを解析する概念である意味範囲を導入する。 我々は、人やモデルの意味範囲を決定するためのアノテーションツールとソフトウェアフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-04T08:17:52Z)
• Foundation Models for Decision Making: Problems, Methods, and Opportunities [124.79381732197649]
  大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。 ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。 基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
  論文  参考訳（メタデータ） (2023-03-07T18:44:07Z)
• Gradient Optimization for Single-State RMDPs [0.0]
  自律運転、ロボット部品の制御、医療診断といった現代の問題は、分析的に解決することがますます困難になっている。 データ駆動型ソリューションは、人によって理解される以上の複雑さの次元に問題があるという強力な選択肢です。 残念ながら、データ駆動モデルは最悪のシナリオでどのように機能するかに不確実性を伴うことが多い。 自律運転や医療などの分野では、これらの障害の結果は破滅的なものになる可能性がある。
  論文  参考訳（メタデータ） (2022-09-25T18:50:02Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Learning-Driven Decision Mechanisms in Physical Layer: Facts, Challenges, and Remedies [23.446736654473753]
  本稿では, 物理層に共通する仮定を, 実用システムとの相違点を強調するために紹介する。 解決策として,実装手順と課題を考慮して学習アルゴリズムを検討する。
  論文  参考訳（メタデータ） (2021-02-14T22:26:44Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。