論文の概要: Shared Imagination: LLMs Hallucinate Alike

• arxiv url: http://arxiv.org/abs/2407.16604v1
• Date: Tue, 23 Jul 2024 16:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 16:36:00.410287
• Title: Shared Imagination: LLMs Hallucinate Alike
• Title（参考訳）: 共有イマジネーション:LLMは幻覚的
• Authors: Yilun Zhou, Caiming Xiong, Silvio Savarese, Chien-Sheng Wu,
• Abstract要約: 本稿では,モデル類似性をよりよく理解するために,新しい設定,想像的質問応答(IQA)を提案する。 IQAでは、あるモデルに純粋に想像上の質問を生成し、別のモデルに答えるよう促す。 これらの質問の完全なフィクション性にもかかわらず、すべてのモデルがお互いの質問に顕著な成功で答えることができる。
• 参考スコア（独自算出の注目度）: 92.4557277529155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent proliferation of large language models (LLMs), their training recipes -- model architecture, pre-training data and optimization algorithm -- are often very similar. This naturally raises the question of the similarity among the resulting models. In this paper, we propose a novel setting, imaginary question answering (IQA), to better understand model similarity. In IQA, we ask one model to generate purely imaginary questions (e.g., on completely made-up concepts in physics) and prompt another model to answer. Surprisingly, despite the total fictionality of these questions, all models can answer each other's questions with remarkable success, suggesting a "shared imagination space" in which these models operate during such hallucinations. We conduct a series of investigations into this phenomenon and discuss implications on model homogeneity, hallucination, and computational creativity.
• Abstract（参考訳）: 最近の大規模言語モデル(LLM)の普及にもかかわらず、それらのトレーニングレシピ(モデルアーキテクチャ、事前トレーニングデータ、最適化アルゴリズム)は、しばしば非常によく似ている。 このことは、結果のモデル間の類似性に関する疑問を自然に提起する。 本稿では,モデル類似性をよりよく理解するために,新しい設定,想像的質問応答(IQA)を提案する。 IQAでは、あるモデルに純粋に想像的な質問(例えば、物理学における完全に作り上げられた概念)を生成し、別のモデルに答えるよう促す。 驚くべきことに、これらの疑問の完全なフィクション性にもかかわらず、全てのモデルは互いの質問に答えることができ、顕著な成功を収め、これらのモデルがこのような幻覚の中で機能する「共有された想像空間」を示唆している。 我々は、この現象に関する一連の研究を行い、モデル同質性、幻覚、および計算的創造性への影響について論じる。

関連論文リスト

• What is it for a Machine Learning Model to Have a Capability? [0.0]
  モデル評価の初期段階の科学に有用な機械学習モデルの能力について考察する。 私たちの中核的な提案は、モデル能力の条件付き分析(CAMA)であり、粗雑に言うと、機械学習モデルは、もし"トリド"された場合、それが確実にXを行うのに成功するときに、Xの能力を持つ。
  論文  参考訳（メタデータ） (2024-05-14T23:03:52Z)
• PuzzleVQA: Diagnosing Multimodal Reasoning Challenges of Language Models with Abstract Visual Patterns [69.17409440805498]
  基本概念に基づいた抽象パターンを用いた大規模マルチモーダルモデルの評価を行った。 単純な抽象パターンをうまく一般化できないことが分かりました。 系統解析の結果, GPT-4Vの主なボトルネックは視覚知覚の弱さと誘導的推論能力であることがわかった。
  論文  参考訳（メタデータ） (2024-03-20T05:37:24Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• Is a model equivalent to its computer implementation? [0.021756081703276]
  広く使われているモデルにおいても、(形式的な)数学的モデルと結果の集合との因果関係はもはや確実ではないと論じる。 このトピックに関する新しい見解は、いくつかの研究の分野において、実装されたモデルのみを使用するという加速傾向に起因している。
  論文  参考訳（メタデータ） (2024-02-23T14:54:40Z)
• A comprehensive framework for multi-fidelity surrogate modeling with noisy data: a gray-box perspective [0.0]
  グレーボックスモデリングは、データ駆動(ブラックボックス)モデルとホワイトボックス(物理ベース)モデルからの情報を統合する問題に関係している。 我々はMFSM(Multi-fidelity surrogate model)を用いてこの課題を実行することを提案する。 MFSMは、様々な計算忠実度を持つモデルからの情報を新しい代理モデルに統合する。
  論文  参考訳（メタデータ） (2024-01-12T08:37:41Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language [49.82293730925404]
  大規模な基盤モデルは、トレーニングされたデータのドメインによって、ユニークな機能を示すことができます。 このモデルの多様性は共生的であり,構造化ソクラテス対話を用いたAIシステム構築に活用可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T17:43:13Z)
• DREAM: Uncovering Mental Models behind Language Models [15.71233907204059]
  DREAMは、状況に関する質問を入力として受け取り、状況を解明するメンタルモデルを生成するモデルである。 既存のNLP資源から遠ざかって、社会的常識を継承する。 DREAMによって生成されたメンタルモデルは、状況的QAタスクのための追加のコンテキストとして使用できる。
  論文  参考訳（メタデータ） (2021-12-16T06:22:47Z)
• Reconstruction of Pairwise Interactions using Energy-Based Models [3.553493344868414]
  ペアワイズモデルとニューラルネットワークを組み合わせたハイブリッドモデルは,ペアワイズインタラクションの再構築において有意な改善をもたらす可能性があることを示す。 これは、単純な解釈可能なモデルと複雑なブラックボックスモデルが必ずしも二分法ではないという一般的な考え方と一致している。
  論文  参考訳（メタデータ） (2020-12-11T20:15:10Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。