論文の概要: Efficiently Computing Susceptibility to Context in Language Models

• arxiv url: http://arxiv.org/abs/2410.14361v1
• Date: Fri, 18 Oct 2024 10:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:38.101788
• Title: Efficiently Computing Susceptibility to Context in Language Models
• Title（参考訳）: 言語モデルにおける文脈に対する感受性の効率的な計算法
• Authors: Tianyu Liu, Kevin Du, Mrinmaya Sachan, Ryan Cotterell,
• Abstract要約: 現代の言語モデルの強みの1つは、クエリに応答する際のユーザ・インプット・コンテキストからの情報を組み込む能力である。 彼らは、その文脈の微妙な変化に等しく敏感ではない。 Du et al. (2024) はそのような感度を測定するための情報理論の計量を与える。 そこで本研究では,フィッシャー情報に基づく効率的な感受性推定法であるFisher susceptibilityを提案する。
• 参考スコア（独自算出の注目度）: 88.46006925539206
• License:
• Abstract: One strength of modern language models is their ability to incorporate information from a user-input context when answering queries. However, they are not equally sensitive to the subtle changes to that context. To quantify this, Du et al. (2024) gives an information-theoretic metric to measure such sensitivity. Their metric, susceptibility, is defined as the degree to which contexts can influence a model's response to a query at a distributional level. However, exactly computing susceptibility is difficult and, thus, Du et al. (2024) falls back on a Monte Carlo approximation. Due to the large number of samples required, the Monte Carlo approximation is inefficient in practice. As a faster alternative, we propose Fisher susceptibility, an efficient method to estimate the susceptibility based on Fisher information. Empirically, we validate that Fisher susceptibility is comparable to Monte Carlo estimated susceptibility across a diverse set of query domains despite its being $70\times$ faster. Exploiting the improved efficiency, we apply Fisher susceptibility to analyze factors affecting the susceptibility of language models. We observe that larger models are as susceptible as smaller ones.
• Abstract（参考訳）: 現代の言語モデルの強みの1つは、クエリに応答する際のユーザ・インプット・コンテキストからの情報を組み込む能力である。 しかし、それらはその文脈の微妙な変化に等しく敏感ではない。 これを定量化するために、Du et al (2024) はそのような感度を測定するための情報理論の計量を与える。 彼らのメトリクスである感受性は、コンテキストが分散レベルでのクエリに対するモデルの応答に影響を与える度合いとして定義される。 しかし、正確には感受性の計算は困難であり、Du et al (2024) はモンテカルロ近似に回帰する。 大量のサンプルを必要とするため、モンテカルロ近似は実際には非効率である。 より高速な代替手段として,フィッシャー情報に基づいてその感受性を推定する効率的な手法であるFisher susceptibilityを提案する。 実証的な検証では、Fisherの感受性はMonte Carloに匹敵するもので、より高速な70ドル(約7万2000円)のクェリドメインをまたいだサセプティビリティを推定する。 効率の向上を図り、フィッシャー・サセプティビリティーを適用し、言語モデルのサセプティビリティに影響を与える要因を分析する。 我々は、より大きなモデルは小さいモデルと同じくらい感受性が高いことを観察する。

関連論文リスト

• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison [0.0]
  Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。 リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。 Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T18:14:53Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• Learning Disentangled Textual Representations via Statistical Measures of Similarity [35.74568888409149]
  トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。 我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
  論文  参考訳（メタデータ） (2022-05-07T08:06:22Z)
• A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
  自然言語処理のための新しいブラックボックス文レベルアタックを提案する。 本手法は,事前学習した言語モデルを微調整して,逆例を生成する。 提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-23T14:43:13Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Discriminatory Expressions to Produce Interpretable Models in Short Documents [0.0]
  State-of-the-artモデルは、社会的影響のある問題の解決に使用すべきではないブラックボックスである。 本稿では,少ないが有意義な特徴を用いることで,理解度を向上させる機能選択機構を提案する。
  論文  参考訳（メタデータ） (2020-11-27T19:00:50Z)
• Multinomial Sampling for Hierarchical Change-Point Detection [0.0]
  本稿では,検出率を向上し,遅延を低減する多項サンプリング手法を提案する。 実験の結果, 基準法よりも優れた結果が得られ, また, 人間の行動研究を指向した事例も提示した。
  論文  参考訳（メタデータ） (2020-07-24T09:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。