論文の概要: ContextCite: Attributing Model Generation to Context

• arxiv url: http://arxiv.org/abs/2409.00729v1
• Date: Sun, 1 Sep 2024 14:36:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 11:36:58.109206
• Title: ContextCite: Attributing Model Generation to Context
• Title（参考訳）: ContextCite: コンテキストにモデル生成をもたらす
• Authors: Benjamin Cohen-Wang, Harshay Shah, Kristian Georgiev, Aleksander Madry,
• Abstract要約: 我々は文脈属性の問題を導入し、あるモデルが特定の文を生成するきっかけとなった文脈の一部を特定する。 次に、既存の言語モデルの上に適用可能な、コンテキスト属性のシンプルでスケーラブルなメソッドであるContextCiteを紹介します。 ContextCiteは、生成されたステートメントの検証、応答品質の改善、中毒攻撃の検出という3つのアプリケーションを通して紹介します。
• 参考スコア（独自算出の注目度）: 64.90535024385305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do language models use information provided as context when generating a response? Can we infer whether a particular generated statement is actually grounded in the context, a misinterpretation, or fabricated? To help answer these questions, we introduce the problem of context attribution: pinpointing the parts of the context (if any) that led a model to generate a particular statement. We then present ContextCite, a simple and scalable method for context attribution that can be applied on top of any existing language model. Finally, we showcase the utility of ContextCite through three applications: (1) helping verify generated statements (2) improving response quality by pruning the context and (3) detecting poisoning attacks. We provide code for ContextCite at https://github.com/MadryLab/context-cite.
• Abstract（参考訳）: 言語モデルは、応答を生成する際に、コンテキストとして提供される情報をどのように利用するか? 特定の生成されたステートメントが実際にコンテキスト、誤解、あるいは製造されているかどうかを推測できますか? これらの疑問に答えるために、私たちはコンテキスト属性の問題を紹介します: あるモデルが特定の文を生成するきっかけとなったコンテキストの一部(もしあれば)をピンポイントする。 次に、既存の言語モデルの上に適用可能な、コンテキスト属性のシンプルでスケーラブルなメソッドであるContextCiteを紹介します。 最後に,(1)生成したステートメントの検証を支援すること (2) コンテキストを切断することで応答品質を向上させること,(3) 中毒攻撃を検出すること,の3つの応用を通してContextCiteの有用性を示す。 ContextCiteのコードはhttps://github.com/MadryLab/context-cite.comで提供します。

関連論文リスト

• Controllable Context Sensitivity and the Knob Behind It [53.70327066130381]
  予測を行う場合、言語モデルは、そのコンテキストとそれ以前の知識にどれだけ依存しているかをトレードオフする必要があります。 我々は,この感性を制御するノブを探索し,言語モデルが文脈から応答するか,それ以前の知識から応答するかを判断する。
  論文  参考訳（メタデータ） (2024-11-11T22:22:21Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• Out of Context: How important is Local Context in Neural Program Repair? [5.732727528813227]
  我々は、この地域の状況が修復の成功に与える影響について研究する。 我々は、多くの異なるローカルコンテキスト設定でTransformerモデルをトレーニングし、評価する。 我々の結果は、TransformerベースのAPRツールに取り組んでいる研究者だけでなく、ベンチマークやデータセットの作成にも関係しています。
  論文  参考訳（メタデータ） (2023-12-08T11:49:02Z)
• Context Diffusion: In-Context Aware Image Generation [29.281927418777624]
  コンテキスト拡散(Context Diffusion)は、画像生成モデルがコンテキストで提示された視覚的な例から学ぶことを可能にする拡散ベースのフレームワークである。 実験とユーザスタディにより、Context Diffusionはドメイン内タスクとドメイン外タスクの両方で優れています。
  論文  参考訳（メタデータ） (2023-12-06T16:19:51Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• Constructing Highly Inductive Contexts for Dialogue Safety through Controllable Reverse Generation [65.48908724440047]
  そこで本稿では,ある応答に条件付けされた逆コンテキストを構築するために,エンフレバース生成と呼ばれる手法を提案する。 我々は,Blender,DialoGPT,Plato2の3種類の事前訓練済み対話モデルをテストする。
  論文  参考訳（メタデータ） (2022-12-04T12:23:41Z)
• Context-LGM: Leveraging Object-Context Relation for Context-Aware Object Recognition [48.5398871460388]
  本稿では,オブジェクト・コンテキスト関係を階層的にモデル化する新しいコンテキスト潜在生成モデル(Contextual Latent Generative Model,Context-LGM)を提案する。 文脈的特徴を推定するために、変数自動エンコーダ(VAE)の目的関数を再構成し、対象物に対する後続条件付き分布として文脈的特徴を学習する。 本手法の有効性は,2つのコンテキスト認識オブジェクト認識タスクにおける最先端性能によって検証される。
  論文  参考訳（メタデータ） (2021-10-08T11:31:58Z)
• Do Context-Aware Translation Models Pay the Right Attention? [61.25804242929533]
  コンテキスト対応機械翻訳モデルは文脈情報を活用するように設計されているが、しばしば失敗する。 本稿では,人間の翻訳者が曖昧な単語を解くために使用する文脈について述べる。 SCAT(Supporting Context for Ambiguous Translations)は、14K翻訳のコンテキストワードをサポートする新しい英仏データセットです。 SCATを用いて,支援語の位置的特徴と語彙的特徴をあいまいにするために使用される文脈を詳細に分析する。
  論文  参考訳（メタデータ） (2021-05-14T17:32:24Z)
• Decontextualization: Making Sentences Stand-Alone [13.465459751619818]
  質問応答、対話エージェント、要約のモデルは、しばしばリッチな文脈で文の意味を解釈する。 キーピースはローカルウィンドウで明示されない可能性があるため、テキストの抜粋を取ることは問題となる可能性がある。 文の非文脈化(decontextualization)の問題は、文を文脈とともに取り、文脈から解釈できるように書き換えることである。
  論文  参考訳（メタデータ） (2021-02-09T22:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。