論文の概要: The Geometries of Truth Are Orthogonal Across Tasks

• arxiv url: http://arxiv.org/abs/2506.08572v1
• Date: Tue, 10 Jun 2025 08:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.968317
• Title: The Geometries of Truth Are Orthogonal Across Tasks
• Title（参考訳）: 真理の測地は直交する課題である
• Authors: Waiss Azizian, Michael Kirchhof, Eugene Ndiaye, Louis Bethune, Michal Klein, Pierre Ablin, Marco Cuturi,
• Abstract要約: 我々は「真理のゲノム」が本質的にタスク依存であり、タスク間での転送に失敗していることを示す。 より高度なアプローチはこの制限を克服することができないが、これはおそらく、タスクをまたいで調べる際に、解の分類に一般的に使用されるアクティベーションベクトルが明確に分離されたクラスタを形成するためである。
• 参考スコア（独自算出の注目度）: 24.684427329854202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive generalization capabilities across various tasks, but their claim to practical relevance is still mired by concerns on their reliability. Recent works have proposed examining the activations produced by an LLM at inference time to assess whether its answer to a question is correct. Some works claim that a "geometry of truth" can be learned from examples, in the sense that the activations that generate correct answers can be distinguished from those leading to mistakes with a linear classifier. In this work, we underline a limitation of these approaches: we observe that these "geometries of truth" are intrinsically task-dependent and fail to transfer across tasks. More precisely, we show that linear classifiers trained across distinct tasks share little similarity and, when trained with sparsity-enforcing regularizers, have almost disjoint supports. We show that more sophisticated approaches (e.g., using mixtures of probes and tasks) fail to overcome this limitation, likely because activation vectors commonly used to classify answers form clearly separated clusters when examined across tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な一般化機能を示しているが、実際的な関連性に対する主張は、その信頼性に関する懸念から、いまだに失われている。 近年の研究では, LLMが発するアクティベーションを推論時に検証し, 質問に対する回答が正しいかどうかを判断する手法が提案されている。 いくつかの研究は、「真実の幾何学」は、正しい答えを生成する活性化が線形分類器の誤りにつながるものと区別できるという意味で、例から学ぶことができると主張している。 これらの「真実のゲノム」は本質的にタスクに依存しており、タスク間での移動に失敗している。 より正確には、異なるタスク間で訓練された線形分類器は類似性はほとんどなく、スパーシティ強化正規化器で訓練された場合、ほぼ非結合であることを示す。 より高度なアプローチ(例えば、プローブとタスクの混合)では、この制限を克服できないことが示される。

関連論文リスト

• Understanding Task Vectors in In-Context Learning: Emergence, Functionality, and Limitations [19.539276425108987]
  この研究は線形結合導出法を提案し、タスクベクトルは元のベクトルの線形結合によって形成された単一のコンテキスト内実証として機能することを示した。 本研究では,三重項型プロンプトを訓練した線形変圧器において,タスクベクトルが自然に現れることを示す。 本研究では,高階マッピングにおけるタスクベクトルの故障を予測し,実用的なLCM上で確認する。
  論文  参考訳（メタデータ） (2025-06-10T17:59:31Z)
• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Nonlinear Meta-Learning Can Guarantee Faster Rates [31.236026714761913]
  非線形表現を用いたメタラーニングの理論的保証を導出する。 特に、慎重に正規化することで、さらなるバイアスを緩和できることが示される。
  論文  参考訳（メタデータ） (2023-07-20T13:42:13Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
  MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
  論文  参考訳（メタデータ） (2021-05-31T23:08:05Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。