論文の概要: On the Universal Truthfulness Hyperplane Inside LLMs

• arxiv url: http://arxiv.org/abs/2407.08582v2
• Date: Mon, 09 Dec 2024 13:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:49:43.849911
• Title: On the Universal Truthfulness Hyperplane Inside LLMs
• Title（参考訳）: LLM内部における全真性超平面について
• Authors: Junteng Liu, Shiqi Chen, Yu Cheng, Junxian He,
• Abstract要約: モデル内の事実的正確かつ誤った出力を区別する普遍真性超平面が存在するかどうかを考察する。 その結果,トレーニングデータセットの多様性の向上が,すべてのシナリオのパフォーマンスを著しく向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 27.007142483859162
• License:
• Abstract: While large language models (LLMs) have demonstrated remarkable abilities across various fields, hallucination remains a significant challenge. Recent studies have explored hallucinations through the lens of internal representations, proposing mechanisms to decipher LLMs' adherence to facts. However, these approaches often fail to generalize to out-of-distribution data, leading to concerns about whether internal representation patterns reflect fundamental factual awareness, or only overfit spurious correlations on the specific datasets. In this work, we investigate whether a universal truthfulness hyperplane that distinguishes the model's factually correct and incorrect outputs exists within the model. To this end, we scale up the number of training datasets and conduct an extensive evaluation -- we train the truthfulness hyperplane on a diverse collection of over 40 datasets and examine its cross-task, cross-domain, and in-domain generalization. Our results indicate that increasing the diversity of the training datasets significantly enhances the performance in all scenarios, while the volume of data samples plays a less critical role. This finding supports the optimistic hypothesis that a universal truthfulness hyperplane may indeed exist within the model, offering promising directions for future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な分野において顕著な能力を示してきたが、幻覚は依然として重要な課題である。 近年の研究では、内的表現のレンズを通して幻覚を探求し、LLMが事実に忠実であることを示すメカニズムを提唱している。 しかしながら、これらのアプローチはアウト・オブ・ディストリビューション・データへの一般化に失敗することが多く、内部表現パターンが基本的な事実認識を反映しているか、あるいは特定のデータセットの急激な相関にのみ適合するかという懸念につながっている。 本研究では,モデル内の事実的正確かつ誤った出力を区別する普遍的真性超平面が存在するかどうかを考察する。 この目的のために、トレーニングデータセットの数をスケールアップし、広範な評価を行う -- 私たちは、40以上のデータセットの多様なコレクションで真正性ハイパープレーンをトレーニングし、クロスタスク、クロスドメイン、ドメイン内の一般化を調べます。 以上の結果から,トレーニングデータセットの多様性の向上は,すべてのシナリオのパフォーマンスを著しく向上させる一方で,データサンプルのボリュームがより重要でない役割を担っていることが示唆された。 この発見は、普遍真理超平面がモデルの中に実際に存在するかもしれないという楽観的な仮説を支持し、将来の研究に有望な方向を提供する。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
  介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。 観察的および介入的設定における各変数の限界分布の比較に依拠する介入忠実性を導入する。 また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
  論文  参考訳（メタデータ） (2024-05-28T16:07:17Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Machine Learning vs Deep Learning: The Generalization Problem [0.0]
  本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。 本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。 その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T21:42:55Z)
• Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
  本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。 はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
  論文  参考訳（メタデータ） (2024-02-02T12:59:27Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• The Rashomon Importance Distribution: Getting RID of Unstable, Single Model-based Variable Importance [16.641794438414745]
  多様性の重要性の定量化は、遺伝学、公共政策、医学といった分野における高い評価の疑問に答えるのに不可欠である。 本稿では,すべての優れたモデルの集合にまたがる変数の重要性を定量化し,データ分布にまたがって安定な新しい変数重要度フレームワークを提案する。 私たちのフレームワークは非常に柔軟で、既存のモデルクラスやグローバル変数の重要度メトリクスと統合できます。
  論文  参考訳（メタデータ） (2023-09-24T23:09:48Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• A Comprehensive Review of Trends, Applications and Challenges In Out-of-Distribution Detection [0.76146285961466]
  アウト・オブ・ディストリビューション・データ・サブセットの検出とより包括的な一般化の実現に焦点をあてた研究分野が誕生した。 多くのディープラーニングベースのモデルは、ベンチマークデータセットでほぼ完璧な結果を得たため、これらのモデルの信頼性と信頼性を評価する必要性は、これまで以上に強く感じられる。 本稿では,本分野における70以上の論文のレビューに加えて,今後の研究の課題と方向性を提示するとともに,データシフトの多種多様さを統一的に把握し,より一般化するためのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-09-26T18:13:14Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。