論文の概要: Hallucination, reliability, and the role of generative AI in science

• arxiv url: http://arxiv.org/abs/2504.08526v1
• Date: Fri, 11 Apr 2025 13:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:21.814275
• Title: Hallucination, reliability, and the role of generative AI in science
• Title（参考訳）: 科学におけるハロシン化, 信頼性, 生成AIの役割
• Authors: Charles Rathkopf,
• Abstract要約: いくつかの議論は、幻覚は生成的推論のメカニズムの必然的な結果であることを示している。 私は、腐食性幻覚は科学的信頼性に脅威をもたらすが、それらは避けられないものではないと論じる。
• 参考スコア（独自算出の注目度）: 0.05657375260432172
• License:
• Abstract: Generative AI is increasingly used in scientific domains, from protein folding to climate modeling. But these models produce distinctive errors known as hallucinations - outputs that are incorrect yet superficially plausible. Worse, some arguments suggest that hallucinations are an inevitable consequence of the mechanisms underlying generative inference. Fortunately, such arguments rely on a conception of hallucination defined solely with respect to internal properties of the model, rather than in reference to the empirical target system. This conception fails to distinguish epistemically benign errors from those that threaten scientific inference. I introduce the concept of corrosive hallucination to capture the epistemically troubling subclass: misrepresentations that are substantively misleading and resistant to systematic anticipation. I argue that although corrosive hallucinations do pose a threat to scientific reliability, they are not inevitable. Scientific workflows such as those surrounding AlphaFold and GenCast, both of which serve as case studies, can neutralize their effects by imposing theoretical constraints during training, and by strategically screening for errors at inference time. When embedded in such workflows, generative AI can reliably contribute to scientific knowledge.
• Abstract（参考訳）: 生成AIは、タンパク質の折り畳みから気候モデリングまで、科学領域でますます使われている。 しかし、これらのモデルは幻覚と呼ばれる独特の誤りを生み出します。 さらに悪いことに、幻覚は発生的推論のメカニズムの必然的な結果であるという説もある。 幸いなことに、そのような議論は経験的対象系ではなく、モデルの内部的性質に関してのみ定義された幻覚の概念に依存している。 この概念は、科学的推論を脅かすものと認識上の良心的な誤りを区別することができない。 観念的に厄介なサブクラス、即ち誤解を招き、体系的な予測に抵抗する誤表現を捉えるために、腐食幻覚の概念を紹介します。 私は、腐食性幻覚は科学的信頼性に脅威をもたらすが、それらは避けられないものではないと論じる。 ケーススタディとして機能するAlphaFoldやGenCastを取り巻く科学ワークフローは、トレーニング中に理論的制約を課し、推論時にエラーを戦略的にスクリーニングすることで、それらの効果を中和することができる。 このようなワークフローに埋め込まれたAIは、科学的知識に確実に貢献することができる。

関連論文リスト

• Hallucinations are inevitable but statistically negligible [23.12905996928255]
  言語モデル(LM)が非現実的コンテンツを生成する現象である幻覚は、LMの実践的な展開に重大な課題をもたらす。 最近の研究は計算可能性理論的な結果を確立し、任意のLMが必然的に無限の入力に対して幻覚を発生させることを示した。 学習データの品質と量で十分であれば,幻覚を統計的に無視できることを示す。
  論文  参考訳（メタデータ） (2025-02-15T07:28:40Z)
• Generative Intervention Models for Causal Perturbation Modeling [80.72074987374141]
  多くの応用において、システムのメカニズムが外部の摂動によって変更されるかは未定である。 本稿では、これらの摂動特徴を原子間干渉による分布にマッピングする方法を学習する生成的介入モデル(GIM)を提案する。
  論文  参考訳（メタデータ） (2024-11-21T10:37:57Z)
• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination [41.70182291774456]
  大規模言語モデル(LLM)は、誤った情報や誤解を招く情報を幻覚させ、信頼性を制限する傾向がある。 アーキテクチャの変更は幻覚に対する既存の懸念を悪化/悪化させるか? これらの知見は、これらの問題を相互によりよく理解することの必要性を強調し、幻覚を扱うためのより普遍的なテクニックをどう設計するかを考察する。
  論文  参考訳（メタデータ） (2024-10-22T23:24:15Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)
• Looks Too Good To Be True: An Information-Theoretic Analysis of Hallucinations in Generative Restoration Models [13.605340325383452]
  生成モデルは、しばしば実際のデータと視覚的に区別できない結果を生み出すことができる。 また、彼らは幻覚を生み出す傾向が強まっている。 本稿では,この現象を情報理論のレンズを通して検討し,不確実性と知覚の根本的なトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2024-05-26T07:58:51Z)
• A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation [51.53917938874146]
  我々は,対話知識の相互作用を利用して,KGDの幻覚を緩和するための解決策を提案する。 本手法は,他の対話性能を損なうことなく幻覚を低減できることを示す。
  論文  参考訳（メタデータ） (2024-04-04T14:45:26Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
  生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。 同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。 一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
  論文  参考訳（メタデータ） (2023-10-31T18:07:07Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。