論文の概要: Permissive Information-Flow Analysis for Large Language Models
- arxiv url: http://arxiv.org/abs/2410.03055v1
- Date: Fri, 4 Oct 2024 00:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:16:10.874022
- Title: Permissive Information-Flow Analysis for Large Language Models
- Title（参考訳）: 大規模言語モデルに対する許容情報フロー解析
- Authors: Shoaib Ahmed Siddiqui, Radhika Gaonkar, Boris Köpf, David Krueger, Andrew Paverd, Ahmed Salem, Shruti Tople, Lukas Wutschitz, Menglin Xia, Santiago Zanella-Béguelin,
- Abstract要約: 大規模言語モデル(LLM)は、大規模ソフトウェアシステムのコモディティコンポーネントになりつつある。
これは自然なセキュリティとプライバシの問題を引き起こします。あるコンポーネントから取得した有毒なデータは、モデルの振る舞いを変更し、システム全体を侵害します。
LLMクエリを通じて情報フローラベルを伝搬する新しい,より寛容な手法を提案する。
- 参考スコア（独自算出の注目度）: 21.563132267220073
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) are rapidly becoming commodity components of larger software systems. This poses natural security and privacy problems: poisoned data retrieved from one component can change the model's behavior and compromise the entire system, including coercing the model to spread confidential data to untrusted components. One promising approach is to tackle this problem at the system level via dynamic information flow (aka taint) tracking. Unfortunately, the traditional approach of propagating the most restrictive input label to the output is too conservative for applications where LLMs operate on inputs retrieved from diverse sources. In this paper, we propose a novel, more permissive approach to propagate information flow labels through LLM queries. The key idea behind our approach is to propagate only the labels of the samples that were influential in generating the model output and to eliminate the labels of unnecessary input. We implement and investigate the effectiveness of two variations of this approach, based on (i) prompt-based retrieval augmentation, and (ii) a $k$-nearest-neighbors language model. We compare these with the baseline of an introspection-based influence estimator that directly asks the language model to predict the output label. The results obtained highlight the superiority of our prompt-based label propagator, which improves the label in more than 85% of the cases in an LLM agent setting. These findings underscore the practicality of permissive label propagation for retrieval augmentation.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模ソフトウェアシステムのコモディティコンポーネントになりつつある。
これは自然のセキュリティとプライバシの問題を引き起こす。あるコンポーネントから取得した有毒なデータは、モデルの振る舞いを変更し、システム全体を汚染する可能性がある。
1つの有望なアプローチは、動的情報フロー(別名 taint)トラッキングを通じて、システムレベルでこの問題に取り組むことである。
残念ながら、出力に最も制限のある入力ラベルを伝搬する従来のアプローチは、多様なソースから取得した入力に対してLLMが動作するアプリケーションには保守的すぎる。
本稿では,LLMクエリを通じて情報フローラベルを伝搬する,新しい,より寛容な手法を提案する。
提案手法の背景にある重要な考え方は、モデル出力の生成に影響を及ぼすサンプルのラベルのみを伝播させ、不要な入力のラベルを除去することである。
このアプローチの2つのバリエーションの有効性を実装し,検討する。
(i)プロンプトベースの検索強化、及び
(ii)$k$-nearest-neighbors言語モデル。
本稿では,言語モデルに出力ラベルの予測を直接依頼するイントロスペクションに基づくインフルエンス推定器のベースラインと比較する。
その結果, プロンプトベースラベルプロパゲータの優位性が強調され, LLMエージェント設定の85%以上でラベルが改善した。
これらの知見は,検索増強のための許容ラベル伝搬の実用性を強調した。
関連論文リスト
- Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。
本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。
ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-09-19T02:59:44Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。
我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。
また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
論文 参考訳（メタデータ） (2024-03-18T18:45:28Z) - Measuring Distributional Shifts in Text: The Advantage of Language
Model-Based Embeddings [11.393822909537796]
実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。
大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。
このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-04T20:46:48Z) - Improving Input-label Mapping with Demonstration Replay for In-context
Learning [67.57288926736923]
In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。
Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。
ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
論文 参考訳（メタデータ） (2023-10-30T14:29:41Z) - Substituting Data Annotation with Balanced Updates and Collective Loss
in Multi-label Text Classification [19.592985329023733]
MLTC(Multi-label text classification)は、あるテキストに複数のラベルを割り当てるタスクである。
本報告では,MLTCの問題点を,ラベル数に比例して,利用可能な監視信号の大きさが線形であるアノテーションフリーおよび希少アノテーション設定で検討する。
提案手法は,(1)事前学習した言語モデルを用いて,入力テキストを事前ラベル候補の集合にマッピングし,(2)ラベル記述による署名付きラベル依存グラフの計算,(3)ラベル依存グラフに沿ったメッセージパスによる事前ラベル候補の更新を行う。
論文 参考訳（メタデータ） (2023-09-24T04:12:52Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - CELDA: Leveraging Black-box Language Model as Enhanced Classifier
without Labels [14.285609493077965]
クラスタリング強化線形識別分析(Linar Discriminative Analysis)は、非常に弱いスーパービジョン信号を用いてテキスト分類精度を向上させる新しい手法である。
我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。
論文 参考訳（メタデータ） (2023-06-05T08:35:31Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - Deep Partial Multi-Label Learning with Graph Disambiguation [27.908565535292723]
grAph-disambIguatioN (PLAIN) を用いた新しいディープ部分多重ラベルモデルを提案する。
具体的には、ラベルの信頼性を回復するために、インスタンスレベルとラベルレベルの類似性を導入する。
各トレーニングエポックでは、ラベルがインスタンスとラベルグラフに伝播し、比較的正確な擬似ラベルを生成する。
論文 参考訳（メタデータ） (2023-05-10T04:02:08Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳（メタデータ） (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。