論文の概要: Hallucination, reliability, and the role of generative AI in science
- arxiv url: http://arxiv.org/abs/2504.08526v1
- Date: Fri, 11 Apr 2025 13:38:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-21 17:29:33.700459
- Title: Hallucination, reliability, and the role of generative AI in science
- Title（参考訳）: 科学におけるハロシン化, 信頼性, 生成AIの役割
- Authors: Charles Rathkopf,
- Abstract要約: いくつかの議論は、幻覚は生成的推論のメカニズムの必然的な結果であることを示している。
私は、腐食性幻覚は科学的信頼性に脅威をもたらすが、それらは避けられないものではないと論じる。
- 参考スコア（独自算出の注目度）: 0.05657375260432172
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generative AI is increasingly used in scientific domains, from protein folding to climate modeling. But these models produce distinctive errors known as hallucinations - outputs that are incorrect yet superficially plausible. Worse, some arguments suggest that hallucinations are an inevitable consequence of the mechanisms underlying generative inference. Fortunately, such arguments rely on a conception of hallucination defined solely with respect to internal properties of the model, rather than in reference to the empirical target system. This conception fails to distinguish epistemically benign errors from those that threaten scientific inference. I introduce the concept of corrosive hallucination to capture the epistemically troubling subclass: misrepresentations that are substantively misleading and resistant to systematic anticipation. I argue that although corrosive hallucinations do pose a threat to scientific reliability, they are not inevitable. Scientific workflows such as those surrounding AlphaFold and GenCast, both of which serve as case studies, can neutralize their effects by imposing theoretical constraints during training, and by strategically screening for errors at inference time. When embedded in such workflows, generative AI can reliably contribute to scientific knowledge.
- Abstract（参考訳）: 生成AIは、タンパク質の折り畳みから気候モデリングまで、科学領域でますます使われている。
しかし、これらのモデルは幻覚と呼ばれる独特の誤りを生み出します。
さらに悪いことに、幻覚は発生的推論のメカニズムの必然的な結果であるという説もある。
幸いなことに、そのような議論は経験的対象系ではなく、モデルの内部的性質に関してのみ定義された幻覚の概念に依存している。
この概念は、科学的推論を脅かすものと認識上の良心的な誤りを区別することができない。
観念的に厄介なサブクラス、即ち誤解を招き、体系的な予測に抵抗する誤表現を捉えるために、腐食幻覚の概念を紹介します。
私は、腐食性幻覚は科学的信頼性に脅威をもたらすが、それらは避けられないものではないと論じる。
ケーススタディとして機能するAlphaFoldやGenCastを取り巻く科学ワークフローは、トレーニング中に理論的制約を課し、推論時にエラーを戦略的にスクリーニングすることで、それらの効果を中和することができる。
このようなワークフローに埋め込まれたAIは、科学的知識に確実に貢献することができる。
関連論文リスト
- Delusions of Large Language Models [62.43923767408462]
大規模言語モデルは、しばしば幻覚として知られる、事実的に間違っているが、もっともらしい出力を生成する。
高信頼幻覚と定義され、不正確な出力を異常に高い信頼性で検出し、緩和することが難しくなる、より惨めな現象であるLSM妄想を識別する。
論文 参考訳（メタデータ） (2025-03-09T17:59:16Z) - The Law of Knowledge Overshadowing: Towards Understanding, Predicting, and Preventing LLM Hallucination [85.18584652829799]
本稿では,知識のシェードイングをモデル化することで,事実の幻覚を定量化する新しい枠組みを提案する。
オーバシャドウ(27.9%)、MemoTrap(13.1%)、NQ-Swap(18.3%)のモデル事実性を顕著に向上させる。
論文 参考訳（メタデータ） (2025-02-22T08:36:06Z) - Generative Intervention Models for Causal Perturbation Modeling [80.72074987374141]
多くの応用において、システムのメカニズムが外部の摂動によって変更されるかは未定である。
本稿では、これらの摂動特徴を原子間干渉による分布にマッピングする方法を学習する生成的介入モデル(GIM)を提案する。
論文 参考訳（メタデータ） (2024-11-21T10:37:57Z) - No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。
学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
論文 参考訳（メタデータ） (2024-10-24T23:57:11Z) - Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination [41.70182291774456]
大規模言語モデル(LLM)は、誤った情報や誤解を招く情報を幻覚させ、信頼性を制限する傾向がある。
アーキテクチャの変更は幻覚に対する既存の懸念を悪化/悪化させるか?
これらの知見は、これらの問題を相互によりよく理解することの必要性を強調し、幻覚を扱うためのより普遍的なテクニックをどう設計するかを考察する。
論文 参考訳（メタデータ） (2024-10-22T23:24:15Z) - LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。
したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
論文 参考訳（メタデータ） (2024-09-09T16:01:58Z) - Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。
最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。
以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-05-27T13:26:34Z) - Looks Too Good To Be True: An Information-Theoretic Analysis of Hallucinations in Generative Restoration Models [13.605340325383452]
生成モデルは、しばしば実際のデータと視覚的に区別できない結果を生み出すことができる。
また、彼らは幻覚を生み出す傾向が強まっている。
本稿では,この現象を情報理論のレンズを通して検討し,不確実性と知覚の根本的なトレードオフを明らかにする。
論文 参考訳（メタデータ） (2024-05-26T07:58:51Z) - A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation [51.53917938874146]
我々は,対話知識の相互作用を利用して,KGDの幻覚を緩和するための解決策を提案する。
本手法は,他の対話性能を損なうことなく幻覚を低減できることを示す。
論文 参考訳（メタデータ） (2024-04-04T14:45:26Z) - On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。
正しい解答知識を持つLLMの現象を推論力学の観点から検討する。
我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文 参考訳（メタデータ） (2024-03-29T06:48:30Z) - ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。
Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。
純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文 参考訳（メタデータ） (2021-03-26T02:42:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。