論文の概要: FASTTRACK: Fast and Accurate Fact Tracing for LLMs

• arxiv url: http://arxiv.org/abs/2404.15157v1
• Date: Mon, 22 Apr 2024 00:07:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:22:34.244180
• Title: FASTTRACK: Fast and Accurate Fact Tracing for LLMs
• Title（参考訳）: FASTTRACK: LLMの高速かつ高精度なFact Tracing
• Authors: Si Chen, Feiyang Kang, Ning Yu, Ruoxi Jia,
• Abstract要約: 本稿では,Large Language Models (LLMs) の機能を活用して,クエリに対する支援的エビデンスを検証する新しいアプローチであるFASTTRACKを紹介する。 実験の結果,FASTTRACKは既存の手法よりも精度と効率が優れていることがわかった。
• 参考スコア（独自算出の注目度）: 26.476665624884134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fact tracing seeks to identify specific training examples that serve as the knowledge source for a given query. Existing approaches to fact tracing rely on assessing the similarity between each training sample and the query along a certain dimension, such as lexical similarity, gradient, or embedding space. However, these methods fall short of effectively distinguishing between samples that are merely relevant and those that actually provide supportive evidence for the information sought by the query. This limitation often results in suboptimal effectiveness. Moreover, these approaches necessitate the examination of the similarity of individual training points for each query, imposing significant computational demands and creating a substantial barrier for practical applications. This paper introduces FASTTRACK, a novel approach that harnesses the capabilities of Large Language Models (LLMs) to validate supportive evidence for queries and at the same time clusters the training database towards a reduced extent for LLMs to trace facts. Our experiments show that FASTTRACK substantially outperforms existing methods in both accuracy and efficiency, achieving more than 100\% improvement in F1 score over the state-of-the-art methods while being X33 faster than \texttt{TracIn}.
• Abstract（参考訳）: ファクトトレースは、特定のクエリの知識源となる特定のトレーニング例を特定しようとする。 ファクトトレースへの既存のアプローチは、各トレーニングサンプルと特定の次元(語彙的類似性、勾配、埋め込み空間など)に沿ったクエリとの類似性を評価することに依存している。 しかし、これらの手法は、単に関係しているだけのサンプルと、クエリが求めている情報に対する支援的な証拠を実際に提供するサンプルとを効果的に区別することができない。 この制限は、しばしば最適以下の効果をもたらす。 さらに、これらの手法は、クエリ毎に個別のトレーニングポイントの類似性を検証し、重要な計算要求を課し、実用的なアプリケーションにとって重大な障壁を生み出す必要がある。 本稿では,Large Language Models (LLMs) の機能を活用して,クエリに対する支援的証拠を検証し,同時にLLMが事実を追跡できるようにトレーニングデータベースをクラスタ化する新しいアプローチであるFASTTRACKを紹介する。 実験の結果、FASTTRACKは既存の手法を精度と効率の両方で大幅に上回り、最先端の手法よりも100倍以上のF1スコアを達成し、X33は \texttt{TracIn}より高速であることがわかった。

関連論文リスト

• Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
  テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。 本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。 多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
  論文  参考訳（メタデータ） (2024-11-26T00:15:37Z)
• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• SoftDedup: an Efficient Data Reweighting Method for Speeding Up Language Model Pre-training [12.745160748376794]
  本稿では,データセットの整合性を維持しつつ,データのサンプリング重量を高い共通度で選択的に削減するソフトデ重複手法を提案する。 このアプローチの中心にあるのは、重複の度合いを定量化する指標である"データ共通性"(data commonness)の概念です。 経験的分析により、この手法はトレーニング効率を著しく改善し、必要なトレーニングステップを少なくとも26%減らすことなく、同等のパープレキシティスコアを達成できることが示されている。
  論文  参考訳（メタデータ） (2024-07-09T08:26:39Z)
• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Evaluation of Test-Time Adaptation Under Computational Time Constraints [80.40939405129102]
  テスト時間適応(TTA)メソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。 現在の評価プロトコルは、この余分なコストの影響を見落とし、実際の適用性に影響を与える。 本稿では,TTA手法のより現実的な評価プロトコルを提案し,一定の速度のデータストリームからデータをオンライン形式で受信する。
  論文  参考訳（メタデータ） (2023-04-10T18:01:47Z)
• Tracing Knowledge in Language Models Back to the Training Data [39.02793789536856]
  言語モデルのアサーションをトレーニング例に遡り、これらの予測の証拠を提供する。 我々は、よく理解された情報検索指標を用いて、事実追跡に影響を及ぼす方法を評価する。
  論文  参考訳（メタデータ） (2022-05-23T17:34:16Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。