論文の概要: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art

• arxiv url: http://arxiv.org/abs/2403.16527v2
• Date: Tue, 11 Feb 2025 17:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:04:41.971168
• Title: Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art
• Title（参考訳）: 意思決定のための基礎モデルにおける幻覚検出:芸術的状態のフレキシブル定義とレビュー
• Authors: Neeloy Chakraborty, Melkior Ornik, Katherine Driggs-Campbell,
• Abstract要約: 意思決定タスクにおける基礎モデルの現状について論じる。 我々は、モデル決定の確実性を定量化できるシステムを後退して同時に設計する必要があると主張している。
• 参考スコア（独自算出の注目度）: 7.072820266877787
• License:
• Abstract: Autonomous systems are soon to be ubiquitous, spanning manufacturing, agriculture, healthcare, entertainment, and other industries. Most of these systems are developed with modular sub-components for decision-making, planning, and control that may be hand-engineered or learning-based. While these approaches perform well under the situations they were specifically designed for, they can perform especially poorly in out-of-distribution scenarios that will undoubtedly arise at test-time. The rise of foundation models trained on multiple tasks with impressively large datasets has led researchers to believe that these models may provide "common sense" reasoning that existing planners are missing, bridging the gap between algorithm development and deployment. While researchers have shown promising results in deploying foundation models to decision-making tasks, these models are known to hallucinate and generate decisions that may sound reasonable, but are in fact poor. We argue there is a need to step back and simultaneously design systems that can quantify the certainty of a model's decision, and detect when it may be hallucinating. In this work, we discuss the current use cases of foundation models for decision-making tasks, provide a general definition for hallucinations with examples, discuss existing approaches to hallucination detection and mitigation with a focus on decision problems, present guidelines, and explore areas for further research in this exciting field.
• Abstract（参考訳）: 自動化システムはすぐにユビキタスになり、製造業、農業、医療、エンターテイメント、その他の産業にまたがるようになる。 これらのシステムのほとんどは、手作業や学習に基づく意思決定、計画、制御のためのモジュールサブコンポーネントで開発されている。 これらのアプローチは、特別に設計された状況下ではうまく機能するが、特にテスト時に必ず発生する配布外のシナリオでは、うまく機能しない。 非常に大きなデータセットを持つ複数のタスクでトレーニングされた基礎モデルの台頭は、これらのモデルが既存のプランナーが欠落しているという理由から、アルゴリズム開発とデプロイメントのギャップを埋める"常識"を提供する可能性があると研究者たちは信じている。 研究者たちは、意思決定タスクに基礎モデルを配置する上で有望な結果を示しているが、これらのモデルは幻覚を与え、合理的に聞こえるが実際は貧弱な決定を生成することが知られている。 我々は、モデル決定の確実性を定量化し、それが幻覚している可能性があることを検出できるシステムを後退して同時に設計する必要があると主張している。 本稿では,意思決定タスクの基盤モデルの現状について論じるとともに,その具体例による幻覚の一般的な定義を提供し,意思決定問題に焦点をあてた幻覚の検出と緩和への既存のアプローチについて論じるとともに,このエキサイティングな分野でのさらなる研究分野を探究する。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Inverse decision-making using neural amortized Bayesian actors [19.128377007314317]
  我々は、教師なしの方法で幅広いパラメータ設定で訓練されたニューラルネットワークを用いてベイズアクターを記憶する。 本稿では,本手法がモデル比較の原理と,先行とコストの識別不能につながる要因を解消するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2024-09-04T10:31:35Z)
• Explaining Relation Classification Models with Semantic Extents [1.7604348079019634]
  説明責任の欠如は、多くの現実世界のアプリケーションで現在複雑になっている要素である。 関係分類タスクにおける決定パターンを解析する概念である意味範囲を導入する。 我々は、人やモデルの意味範囲を決定するためのアノテーションツールとソフトウェアフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-04T08:17:52Z)
• Foundation Models for Decision Making: Problems, Methods, and Opportunities [124.79381732197649]
  大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。 ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。 基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
  論文  参考訳（メタデータ） (2023-03-07T18:44:07Z)
• Gradient Optimization for Single-State RMDPs [0.0]
  自律運転、ロボット部品の制御、医療診断といった現代の問題は、分析的に解決することがますます困難になっている。 データ駆動型ソリューションは、人によって理解される以上の複雑さの次元に問題があるという強力な選択肢です。 残念ながら、データ駆動モデルは最悪のシナリオでどのように機能するかに不確実性を伴うことが多い。 自律運転や医療などの分野では、これらの障害の結果は破滅的なものになる可能性がある。
  論文  参考訳（メタデータ） (2022-09-25T18:50:02Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Learning-Driven Decision Mechanisms in Physical Layer: Facts, Challenges, and Remedies [23.446736654473753]
  本稿では, 物理層に共通する仮定を, 実用システムとの相違点を強調するために紹介する。 解決策として,実装手順と課題を考慮して学習アルゴリズムを検討する。
  論文  参考訳（メタデータ） (2021-02-14T22:26:44Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。