論文の概要: Out-of-Context Abduction: LLMs Make Inferences About Procedural Data Leveraging Declarative Facts in Earlier Training Data

• arxiv url: http://arxiv.org/abs/2508.00741v1
• Date: Fri, 01 Aug 2025 16:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.945174
• Title: Out-of-Context Abduction: LLMs Make Inferences About Procedural Data Leveraging Declarative Facts in Earlier Training Data
• Title（参考訳）: アウト・オブ・コンテクスト・アブダクション:LDMは事前トレーニングデータにおける宣言的事実の活用について推論する
• Authors: Sohaib Imran, Rob Lamb, Peter M. Atkinson,
• Abstract要約: 大規模言語モデル(LLM)は大規模コーパスで訓練されているが、トレーニングデータに含まれる情報について推論できるかどうかは不明である。 本研究は,LLMにおける文脈外推論(out-of-context abduction)について検討した。 この結果は,LLMの状況認識や,AIの安全性に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 1.5361702135159845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are trained on large corpora, yet it is unclear whether they can reason about the information present within their training data. We design experiments to study out-of-context abduction in LLMs, the ability to infer the most plausible explanations for observations using relevant facts present in training data. We train treatment LLMs on names and behavior descriptions of fictitious chatbots, but not on examples of dialogue with the chatbots. We find that OpenAI's GPT 4o LLM can correctly infer at least one chatbot's name after observing example responses characteristic of that chatbot. We also find that previously training GPT 4o on descriptions of a chatbot's behavior allows it to display behaviors more characteristic of the chatbot when iteratively trained to display such behaviors. Our results have implications for situational awareness in LLMs and, therefore, for AI safety.
• Abstract（参考訳）: 大規模言語モデル(LLM)は大規模コーパスで訓練されているが、トレーニングデータに含まれる情報について推論できるかどうかは不明である。 我々は,LLMにおける文脈外推論(out-of-context abduction)を研究する実験を設計した。 我々は、架空のチャットボットの名前と行動記述に基づいてLLMを訓練するが、チャットボットとの対話の例には適用しない。 その結果,OpenAI の GPT 4o LLM は,そのチャットボットの特徴を例示して,少なくとも1つのチャットボット名を正確に推測できることがわかった。 また,従来のGPT 4oをチャットボットの動作記述でトレーニングすることで,そのような動作を反復的に訓練した場合に,チャットボットの動作に特徴的な動作を表示することができることがわかった。 この結果は,LLMの状況認識や,AIの安全性に影響を及ぼす。

関連論文リスト

• Analyzing and Mitigating Object Hallucination: A Training Bias Perspective [108.09666587800781]
  我々は,LVLMのトレーニングデータから,特定の対象を隠蔽した反ファクト画像からなる新しいベンチマークPOPEv2を提案する。 現在のLVLMはトレーニングバイアスに悩まされており、トレーニングデータを完全に活用できず、トレーニング中に見られる画像に対してより頻繁に幻覚を与えることができません。 Obliviateは,学習バイアスアンラーニングによる物体幻覚の軽減を目的とした,効率的で軽量な未学習手法である。
  論文  参考訳（メタデータ） (2025-08-06T15:51:02Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Humanity in AI: Detecting the Personality of Large Language Models [0.0]
  アンケートは大規模言語モデル(LLM)の個性を検出する一般的な方法である 本稿では,テキストマイニングとアンケート手法の組み合わせを提案する。 LLMのパーソナリティは、事前訓練されたデータから導かれる。
  論文  参考訳（メタデータ） (2024-10-11T05:53:11Z)
• Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions [0.0699049312989311]
  統合失調症の患者は、しばしば認知障害を伴い、自分の状態について学ぶ能力を妨げることがある。 大規模言語モデル(LLM)は、トピックのメンタルヘルス情報をよりアクセシビリティとエンゲージメントを高める可能性を秘めているが、それらのブラックボックスの性質は倫理と安全に関する懸念を喚起する。
  論文  参考訳（メタデータ） (2024-10-10T09:49:24Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  本稿ではReCaLL(Relative Conditional Log-Likelihood)を提案する。 実験の結果,非メンバープレフィックスの条件付きメンバーデータは,非メンバーデータと比較してログライクな傾向が著しく低下することがわかった。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• A Complete Survey on LLM-based AI Chatbots [46.18523139094807]
  過去数十年間、データの増加を目撃し、データ収集、学習ベースのAI技術の基礎を築いた。 AIチャットボットと呼ばれる会話エージェントは、大きな言語モデル(LLM)をトレーニングし、ユーザのプロンプトに応じて新しいコンテンツ(知識)を生成するために、そのようなデータに大きく依存している。 本稿では,様々な分野におけるLLMベースのチャットボットの進化と展開に関する完全な調査を行う。
  論文  参考訳（メタデータ） (2024-06-17T09:39:34Z)
• SPML: A DSL for Defending Language Models Against Prompt Attacks [4.511923587827302]
  System Prompt Meta Language (SPML)は、大規模言語モデル(LLM)へのインプットの精製と監視を行うドメイン固有言語である。 SPMLは攻撃プロンプトを積極的にチェックし、ユーザ入力と定義との整合性を確保し、LLMバックボーン上で悪意のある実行を防止し、コストを最適化する。 我々は、1.8kシステムプロンプトと20kユーザインプットを備えた画期的なベンチマークを導入し、チャットボット定義評価のための最初の言語とベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-02-19T00:53:48Z)
• Supporting Student Decisions on Learning Recommendations: An LLM-Based Chatbot with Knowledge Graph Contextualization for Conversational Explainability and Mentoring [0.0]
  本稿では,チャットボットを会話の仲介者として利用する手法を提案する。 グループチャットアプローチは、必要に応じて、あるいはチャットボットの予め定義されたタスクを超える場合に、学生と人間のメンターを結びつけるために開発された。
  論文  参考訳（メタデータ） (2024-01-16T17:31:35Z)
• Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。 本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
  論文  参考訳（メタデータ） (2023-10-16T07:58:56Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。