論文の概要: Measuring Pointwise $\mathcal{V}$-Usable Information In-Context-ly

• arxiv url: http://arxiv.org/abs/2310.12300v2
• Date: Fri, 8 Dec 2023 14:20:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 18:17:57.428510
• Title: Measuring Pointwise $\mathcal{V}$-Usable Information In-Context-ly
• Title（参考訳）: ポイントワイズ $\mathcal{V}$-Usable Information In-Context-ly
• Authors: Sheng Lu, Shan Chen, Yingya Li, Danielle Bitterman, Guergana Savova, and Iryna Gurevych
• Abstract要約: 本研究では,最近提案された難易度測定値である$mathcalV$-useable information (PVI) をテキスト内バージョン(テキスト内PVI)に適用する。 オリジナルのPVIと比較すると、インコンテキストのPVIの方がより効率的であり、いくつかの例を必要とせず、微調整も必要としない。
• 参考スコア（独自算出の注目度）: 43.817789648836275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is a new learning paradigm that has gained popularity along with the development of large language models. In this work, we adapt a recently proposed hardness metric, pointwise $\mathcal{V}$-usable information (PVI), to an in-context version (in-context PVI). Compared to the original PVI, in-context PVI is more efficient in that it requires only a few exemplars and does not require fine-tuning. We conducted a comprehensive empirical analysis to evaluate the reliability of in-context PVI. Our findings indicate that in-context PVI estimates exhibit similar characteristics to the original PVI. Specific to the in-context setting, we show that in-context PVI estimates remain consistent across different exemplar selections and numbers of shots. The variance of in-context PVI estimates across different exemplar selections is insignificant, which suggests that in-context PVI are stable. Furthermore, we demonstrate how in-context PVI can be employed to identify challenging instances. Our work highlights the potential of in-context PVI and provides new insights into the capabilities of ICL.
• Abstract（参考訳）: In-context Learning(ICL)は、大規模言語モデルの開発とともに人気を博した新しい学習パラダイムである。 本研究では,最近提案されたハードネス指標であるポイントワイズ$\mathcal{v}$-usable information (pvi) をコンテキスト内バージョン (in-context pvi) に適用する。 オリジナルのPVIと比較すると、インコンテキストのPVIの方がより効率的であり、いくつかの例を必要とせず、微調整も必要としない。 テキスト内PVIの信頼性を評価するための総合的な実験分析を行った。 この結果から,テキスト内PVI推定値とPVI推定値の類似性が示唆された。 in-context設定に特有なものとして,in-context pvi推定値が,さまざまな例選択やショット数にわたって一貫していることを示す。 コンテクスト内PVIの推定値の相違は、コンテクスト内PVIが安定であることが示唆される。 さらに,コンテクスト内PVIを用いて難易度の高いインスタンスを識別する方法を示す。 我々の研究は、文脈内PVIの可能性を強調し、ICLの能力に関する新たな洞察を提供する。

関連論文リスト

• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• Coverage and Bias of Street View Imagery in Mapping the Urban Environment [0.0]
  ストリートビュー画像(SVI)は、都市研究において貴重なデータ形式として出現し、都市環境を地図化し、知覚する新しい方法を可能にしている。 本研究では,都市環境におけるSVIの特徴レベルを推定するための新しいワークフローを提案する。 ロンドンをケーススタディとして、SVIが都市の特徴をカバーし表現する能力の潜在的なバイアスを特定するために、3つの実験が実施された。
  論文  参考訳（メタデータ） (2024-09-22T02:58:43Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• Position-guided Text Prompt for Vision-Language Pre-training [121.15494549650548]
  本研究では,ビジョンランゲージ・プレトレーニングで訓練したクロスモーダルモデルの視覚的グラウンド化能力を高めるために,位置誘導型テキストプロンプト(PTP)パラダイムを提案する。 PTPは、与えられたブロック内のオブジェクトを予測したり、与えられたオブジェクトのブロックを後退させたりすることで、PTPが与えられた視覚的グラウンドタスクを補充するブランク問題に再構成する。 PTPはオブジェクト検出をベースとした手法で同等の結果を得るが、PTPがオブジェクト検出を破棄し、後続では不可能になるため、推論速度ははるかに速い。
  論文  参考訳（メタデータ） (2022-12-19T18:55:43Z)
• Learning by Hallucinating: Vision-Language Pre-training with Weak Supervision [6.8582563015193]
  弱教師付き視覚言語事前学習は、ほとんどあるいは全くペアのデータを持たないクロスモーダルアライメントを学習することを目的としている。 オブジェクトタグと視覚的特徴をペアリングする最近の手法は、様々なV-L下流タスクで整列ペアで訓練されたモデルと同等のパフォーマンスを達成するのに役立っている。 Visual Vocabulary based Feature Hallucinator (WFH) を用いたモデル管理のためのペアV-Lデータの欠如に対処する。 WFHはテキストから視覚的な幻覚を生成し、元の未読テキストとペアリングすることで、モダリティ間のより多様な相互作用を可能にする。
  論文  参考訳（メタデータ） (2022-10-24T20:30:55Z)
• LocVTP: Video-Text Pre-training for Temporal Localization [71.74284893790092]
  Video-Text Pre-trainingは、大規模なWebビデオからさまざまな下流タスクの転送可能な表現を学ぶことを目的としている。 本稿では,現在のVTP手法とローカライズタスクの非互換性を実験的に解析し,実証する。 ローカライズ指向のビデオテキスト事前学習フレームワークであるLocVTPを提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:43:51Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。