Fugu-MT 論文翻訳(概要): Capturing AI's Attention: Physics of Repetition, Hallucination, Bias and Beyond

論文の概要: Capturing AI's Attention: Physics of Repetition, Hallucination, Bias and Beyond

arxiv url: http://arxiv.org/abs/2504.04600v1
Date: Sun, 06 Apr 2025 20:10:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-08 14:08:53.110600
Title: Capturing AI's Attention: Physics of Repetition, Hallucination, Bias and Beyond
Title（参考訳）: AIの注意を引く: 繰り返し、幻覚、バイアス、それ以上の物理学
Authors: Frank Yingjie Huo, Neil F. Johnson,
Abstract要約: 理論は、出力反復、幻覚、有害な内容など、優れたAI課題の分析を可能にする。その2体形式は、LCMがうまく機能する理由を示唆するが、一般化された3体注意によって、そのようなAIがさらにうまく動作することを示唆している。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We derive a first-principles physics theory of the AI engine at the heart of LLMs' 'magic' (e.g. ChatGPT, Claude): the basic Attention head. The theory allows a quantitative analysis of outstanding AI challenges such as output repetition, hallucination and harmful content, and bias (e.g. from training and fine-tuning). Its predictions are consistent with large-scale LLM outputs. Its 2-body form suggests why LLMs work so well, but hints that a generalized 3-body Attention would make such AI work even better. Its similarity to a spin-bath means that existing Physics expertise could immediately be harnessed to help Society ensure AI is trustworthy and resilient to manipulation.
Abstract（参考訳）: 我々はLLMの「魔法」の中心にあるAIエンジンの第一原理物理理論(例えばChatGPT, Claude)を導出する。この理論は、アウトプット反復、幻覚、有害な内容、バイアス(トレーニングや微調整など)など、優れたAI課題の定量的分析を可能にする。その予測は大規模LLM出力と一致している。その2体形式は、LCMがうまく機能する理由を示唆するが、一般化された3体注意によって、そのようなAIがさらにうまく動作することを示唆している。スピンバスに類似していることは、既存の物理学の専門知識を直ちに活用して、AIが信頼性が高く、操作に耐性があることを保証できることを意味している。

関連論文リスト

How Do LLMs Perform Two-Hop Reasoning in Context? [76.79936191530784]
我々は合成二脚推論タスクで三層変圧器を訓練する。モデルが乱れをランダムに推測する方法を学習するための内部メカニズムを説明する。私たちの研究は、トレーニング中に推論がどのように現れるかについて、新たな洞察を与えてくれます。
論文参考訳（メタデータ） (2025-02-19T17:46:30Z)
Automatic Curriculum Expert Iteration for Reliable LLM Reasoning [60.60318625779015]
幻覚(すなわち、可塑性だが不正確な内容を生成する)と怠慢(すなわち過剰な拒絶や「私は知らない」のデフォルト)は、LLM推論における主要な課題として残る。幻覚を減らそうとする現在の取り組みは、主に知識に基づくタスクにおける事実的誤りに焦点を当てており、しばしば欠陥推論に関連する幻覚を無視している。本稿では,LLM推論を強化し,モデルの能力に応答する自動カリキュラムエキスパートイテレーション(Auto-CEI)を提案する。
論文参考訳（メタデータ） (2024-10-10T05:43:07Z)
On the consistent reasoning paradox of intelligence and optimal trust in AI: The power of 'I don't know' [79.69412622010249]
一貫性推論(Consistent reasoning)は、人間の知性の中心にある、同等のタスクを扱う能力である。 CRPは、一貫性のある推論は誤認を意味する、と論じている。
論文参考訳（メタデータ） (2024-08-05T10:06:53Z)
Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc [0.0]
ジェネレーティブAI(Generative AI)は、AIに対して最もポピュラーなアプローチであり、必ずしも正しいとは限らないアウトプットを生成するために訓練された大規模な言語モデル(LLM)で構成されている。我々は、現在のアプローチに関連する多くの制限を理論的に解決できるAIに代わるアプローチについて議論する。
論文参考訳（メタデータ） (2023-07-31T16:29:28Z)
Terry vs an AI, Round 1: Heralding single-rail (approximate?) 4-GHZ state from squeezed sources [0.0]
量子フォトニクスにおける科学的な発見の1つを評価する。私の分析から、まだかなり時間がかかるかもしれないという悲惨な結論につながります。
論文参考訳（メタデータ） (2023-03-08T21:55:14Z)
Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文参考訳（メタデータ） (2022-01-26T18:53:09Z)
The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文参考訳（メタデータ） (2021-07-28T17:32:04Z)
Why is AI hard and Physics simple? [0.0]
AIがなぜ難しいのか、なぜ物理学が単純なのかを議論します。機械学習の根底にあるプロジェクトと物理の根底にあるプロジェクトは、スパーシティの原理によって強く結びついていることを示唆する。
論文参考訳（メタデータ） (2021-03-31T18:00:01Z)
Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
論文参考訳（メタデータ） (2020-11-30T18:29:25Z)
Expected Utilitarianism [0.0]
私たちは、人工知能(AI)が役に立つことを望んでいる。これは、AI研究に対するほとんどの態度の根拠となる仮定である。 AIは人間を邪魔するのではなく、助けてもらいたい。しかし、この理論と実際が本当に関係しているものは、すぐには明らかではない。このことから生じる結論が2つある。まず第一に、有益なAIが倫理的なAIであると信じているなら、"相応しい"と仮定するフレームワークは、最も多くの人にとって最も良いものへのタンタマウントである、というものである。第2に、AIがRLに依存している場合、それ自身、環境、および他のエージェントの理由となる方法です。
論文参考訳（メタデータ） (2020-07-19T15:44:04Z)
Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective [0.0]
説明可能なAIとは何か,という議論があります。我々は、希望的な思考ではなく、物理学以外の科学理論に関連して、現実的な基礎的特性を提示する。
論文参考訳（メタデータ） (2020-01-26T15:09:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。