論文の概要: Option-ID Based Elimination For Multiple Choice Questions

• arxiv url: http://arxiv.org/abs/2501.15175v2
• Date: Sat, 15 Feb 2025 17:04:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:07:24.010658
• Title: Option-ID Based Elimination For Multiple Choice Questions
• Title（参考訳）: オプションIDに基づく複数質問の除去
• Authors: Zhenhao Zhu, Bulou Liu, Qingyao Ai, Yiqun Liu,
• Abstract要約: 複数選択質問(MCQ)は、大規模言語モデル(LLM)を評価するために人気があり重要なタスクである。 MCQの回答に使用する共通戦略に基づいて, 効率的な問題解決手法として, 除去プロセス(PoE)が提案されている。 本稿では,オプションIDに基づくPoEを提案する。
• 参考スコア（独自算出の注目度）: 12.30777266124562
• License:
• Abstract: Multiple choice questions (MCQs) are a popular and important task for evaluating large language models (LLMs). Based on common strategies people use when answering MCQs, the process of elimination (PoE) has been proposed as an effective problem-solving method. Existing methods to the PoE generally fall into two categories: one involves having the LLM directly select the incorrect options, while the other involves scoring the options. However, both methods incur high computational costs and often perform worse than methods that directly answer the MCQs with the option IDs. To address this issue, this paper proposes a PoE based on option ID. Specifically, our method eliminates option by selecting the option ID with the lowest probability. We conduct experiments with 10 different LLMs in zero-shot settings on 7 publicly available datasets. The experimental results demonstrate that our method significantly improves the LLM's performance. Further analysis reveals that the sequential elimination strategy can effectively enhance the LLM's reasoning ability. Additionally, we find that sequential elimination is also applicable to few-shot settings and can be combined with debias methods to further improve LLM's performance.
• Abstract（参考訳）: 複数選択質問(MCQ)は、大規模言語モデル(LLM)を評価するために人気があり重要なタスクである。 MCQの回答に使用する共通戦略に基づいて, 効率的な問題解決手法として, 除去プロセス(PoE)が提案されている。 既存のPoEのメソッドは、一般的に2つのカテゴリに分類される: 1つは、LCMが間違ったオプションを直接選択すること、もう1つはオプションをスコアリングすることである。 しかし、どちらの手法も高い計算コストを発生させ、オプションIDでMCQに直接答える手法よりも性能が劣ることが多い。 この問題に対処するために,オプションIDに基づくPoEを提案する。 具体的には,オプションIDを最も低い確率で選択することで,オプションを除去する。 公開されている7つのデータセット上で、ゼロショット設定で10の異なるLLMを用いて実験を行う。 実験の結果,本手法はLLMの性能を著しく向上させることがわかった。 さらに解析した結果, 逐次除去戦略はLCMの推論能力を効果的に向上させることができることがわかった。 さらに、逐次除去は、少数ショット設定にも適用でき、デバイアス法と組み合わせることで、LCMの性能をさらに向上させることができる。

関連論文リスト

• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。 この課題に対処するための新しい手法を提案する。 典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Transfer Learning Enhanced Single-choice Decision for Multi-choice Question Answering [27.601353412882258]
  MMRC (Multi-choice Machine Reading) は、与えられたパスと質問に基づいて、オプションのセットから正しい回答を選択することを目的としている。 本稿では,ある解答が正しいかどうかを識別するために,二項分類を訓練することにより,複数選択を単一選択に再構成する。 提案手法はマルチ選択フレームワークを排除し,他のタスクのリソースを活用できる。
  論文  参考訳（メタデータ） (2024-04-27T16:02:55Z)
• Learning to Cut via Hierarchical Sequence/Set Model for Efficient Mixed-Integer Programming [61.59888010725235]
  混合整数線形プログラム(MILP)の解法における切削平面(カット)の役割 カット選択ポリシーを学習するための新しい階層型シーケンス/セットモデル(HEM)を提案する。 HEMは、(P1)-(P3)を同時に扱う最初のデータ駆動手法である。
  論文  参考訳（メタデータ） (2024-04-19T05:40:25Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• A model-free feature selection technique of feature screening and random forest based recursive feature elimination [0.0]
  質量特徴を持つ超高次元データのモデルフリー特徴選択法を提案する。 提案手法は選択整合性を示し, 弱正則条件下では$L$整合性を示す。
  論文  参考訳（メタデータ） (2023-02-15T03:39:16Z)
• Meta-Learning Approaches for a One-Shot Collective-Decision Aggregation: Correctly Choosing how to Choose Correctly [0.7874708385247353]
  単発の機械学習に基づくアグリゲーションアプローチを2つ提示する。 最初の予測では、集団の選択に関する複数の特徴が与えられた場合、どのアグリゲーション法が最善かが予想される。 2つ目は、どの決定が最適かを直接予測する。
  論文  参考訳（メタデータ） (2022-04-03T15:06:59Z)
• A Mutual Information Maximization Approach for the Spurious Solution Problem in Weakly Supervised Question Answering [60.768146126094955]
  弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。 偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。 本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
  論文  参考訳（メタデータ） (2021-06-14T05:47:41Z)
• Feature Selection Methods for Cost-Constrained Classification in Random Forests [3.4806267677524896]
  コストに敏感な特徴選択は、機能選択の問題であり、モデルに含めるための個々のコストを上昇させる。 ランダムフォレスト(Random Forests)は、機能選択において特に困難な問題を定義している。 小木構造から特徴を選択する新しい高速多変量特徴選択法であるShallow Tree Selectionを提案する。
  論文  参考訳（メタデータ） (2020-08-14T11:39:52Z)
• Lookahead and Hybrid Sample Allocation Procedures for Multiple Attribute Selection Decisions [0.9137554315375922]
  本稿では、各測定値が1つの属性の1つのサンプルを1つの代替として生成する設定について考察する。 収集するサンプルが一定数与えられた場合、決定者は、どのサンプルを取得するかを決定し、測定を行い、属性の規模に関する事前の信念を更新し、代替案を選択する必要がある。
  論文  参考訳（メタデータ） (2020-07-31T15:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。