Fugu-MT 論文翻訳(概要): Affinity and Diversity: A Unified Metric for Demonstration Selection via Internal Representations

論文の概要: Affinity and Diversity: A Unified Metric for Demonstration Selection via Internal Representations

arxiv url: http://arxiv.org/abs/2502.14380v1
Date: Thu, 20 Feb 2025 09:12:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-21 22:18:11.588973
Title: Affinity and Diversity: A Unified Metric for Demonstration Selection via Internal Representations
Title（参考訳）: 親和性と多様性:内的表現による実証的選択のための統一された基準
Authors: Mariko Kato, Hakaze Cho, Yoshihiro Sakai, Naoya Inoue,
Abstract要約: 我々は、ICLモデルの内部表現を活用する統一されたメートル法-親和性と多様性-を提案する。実験の結果,親和性と多様性は試験精度と強く相関し,実演選択の有効性が示唆された。
参考スコア（独自算出の注目度）: 2.4866936275046405
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The performance of In-Context Learning (ICL) is highly sensitive to the selected demonstrations. Existing approaches to demonstration selection optimize different objectives, yielding inconsistent results. To address this, we propose a unified metric--affinity and diversity--that leverages ICL model's internal representations. Our experiments show that both affinity and diversity strongly correlate with test accuracies, indicating their effectiveness for demonstration selection. Moreover, we show that our proposed metrics align well with various previous works to unify the inconsistency.
Abstract（参考訳）: In-Context Learning(ICL)のパフォーマンスは、選択された実演に非常に敏感である。既存のデモ選択のアプローチは、異なる目的を最適化し、一貫性のない結果をもたらす。そこで本研究では,ICLモデルの内部表現を利用した,統一されたメートル法-親和性と多様性-を提案する。実験の結果,親和性と多様性は試験精度と強く相関し,実演選択の有効性が示唆された。さらに,提案手法は,不整合を統一するための様々な先行研究とよく一致していることを示す。

関連論文リスト

Enhancing Contrastive Demonstration Selection with Semantic Diversity for Robust In-Context Machine Translation [0.0]
機械翻訳のためのインコンテキスト学習におけるデモ選択のための新しいアプローチであるDiverseConEを提案する。本手法は, 組込み空間の相似性に基づく多様性向上のステップを組み込むことにより, コントラスト選択に基づく。以上の結果から,DiverseConEはランダム選択,BM25,TopK,最先端のコントラスト選択など,強いベースライン手法を一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2025-04-12T18:35:04Z)
Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric [48.81957145701228]
サンプルレベルの「ノーベルティ」に基づく新しい多様性指標を提案する。我々は,NovellSumが精度よく多様性の変動を捉え,命令調整モデルの性能と0.97の相関性が得られることを示す。
論文参考訳（メタデータ） (2025-02-24T14:20:22Z)
Demonstration Selection for In-Context Learning via Reinforcement Learning [16.103533806505403]
Relevance-Diversity Enhanced Selection (RDES)は、テキスト分類タスクにおける多様な参照デモの選択を最適化するための革新的なアプローチである。 RDESはQラーニングフレームワークを使用して、多様性と分類目標との関連性を最大化するデモを動的に識別する。 RDESは,確立された10のベースラインと比較して,分類精度を著しく向上することを示した。
論文参考訳（メタデータ） (2024-12-05T08:33:52Z)
DemoShapley: Valuation of Demonstrations for In-Context Learning [20.26604061802236]
インコンテキスト学習(ICL)を利用した大規模言語モデル(LLM)は、タスク固有の微調整を必要とせずに、様々なタスク間で数ショットの学習を行う新しいベンチマークを設定した。我々は、Data Shapleyの評価定理にインスパイアされたDemoShapleyを紹介する。この結果から,DemoShapleyは精度と公平性の観点からモデル性能を向上するだけでなく,コンテキスト内デモとは異なる領域からのクエリを一般化することがわかった。
論文参考訳（メタデータ） (2024-10-10T01:35:03Z)
DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文参考訳（メタデータ） (2024-05-22T15:52:52Z)
ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-31T05:56:15Z)
Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文参考訳（メタデータ） (2024-01-22T16:25:27Z)
In-Context Learning with Iterative Demonstration Selection [32.62104857810135]
大規模言語モデル (LLMs) は、文脈内学習 (ICL) を介して強力な数ショット学習能力を示した。 ICLの性能は、数発のデモの選択に非常に敏感であることが示されている。両次元のメリットを活用するために,反復デモ選択(IDS)を提案する。
論文参考訳（メタデータ） (2023-10-15T16:40:19Z)
Dynamic Demonstrations Controller for In-Context Learning [48.455265597575675]
In-context Learning (ICL)は自然言語処理のための新しいパラダイムであるデモの数はモデル性能と正の相関関係にあると一般的に信じられている。デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
論文参考訳（メタデータ） (2023-09-30T14:04:22Z)
In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
論文参考訳（メタデータ） (2023-05-24T05:04:00Z)
Concurrent Discrimination and Alignment for Self-Supervised Feature Learning [52.213140525321165]
既存の自己指導型学習手法は,(1)どの特徴が分離されるべきかを明確に示すこと,あるいは(2)どの特徴が閉じるべきかを明確に示すこと,のいずれかのプリテキストタスクを用いて学習する。本研究では,識別・調整手法の正の側面を組み合わせて,上記の課題に対処するハイブリッド手法を設計する。本手法は,識別的予測タスクによってそれぞれ反発とアトラクションのメカニズムを明確に特定し,ペアビュー間の相互情報を同時に最大化する。確立された9つのベンチマーク実験により,提案モデルが自己監督と移動の既成結果より一貫して優れていることが示された。
論文参考訳（メタデータ） (2021-08-19T09:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。