Benchmark on LLMs and Venues

We rigorously test leading AI models to ensure you get the most accurate, helpful reviews for your research papers. Below you'll find detailed performance metrics comparing the latest LLMs from OpenAI (GPT) and Google (Gemini) across various top-tier computer science conferences.

Try it yourself3 free reviews/month

Privacy and security first

CSPaper ensures all papers remain confidential and legally protected. Content is processed securely and safeguarded under enterprise-level agreements with LLM providers — guaranteeing it is never used to train any model.

Benchmark Metrics

Click on a metric below to view detailed benchmarks

Normalized Mean Absolute Error (NMAE) quantifies how close the predicted paper ratings are to the established ground-truth ratings. Lower NMAE values indicate better alignment between predicted and true review ratings.

Conference28Journal7

Venue	GPT-5.4	Gemini-2.5-pro	Gemini-3.1-pro	GPT-5	Gemini-3-flash	GPT-5.1	GPT-5.2	Gemini-2.5-flash	GPT-4.1
ESWAmain	0.200±0.215	0.263±0.221	0.156±0.145	0.200±0.215	0.188±0.189	0.125±0.115	0.200±0.215	0.219±0.197	0.188±0.133
FORGEintelligence	0.111±0.143	0.041±0.055	0.116±0.117	0.066±0.139	0.129±0.119	0.066±0.092	0.086±0.143	0.341±0.305	0.074±0.087
JBDregular	0.214±0.157	0.143±0.183	0.214±0.187	0.250±0.191	0.214±0.213	0.214±0.213	0.179±0.227	0.179±0.202	0.357±0.210
MLJregular	0.242±0.108	0.168±0.134	0.193±0.123	0.217±0.165	0.177±0.172	0.217±0.152	0.217±0.189	0.193±0.123	0.247±0.137
Neurocomputingmain	0.275±0.124	0.185±0.150	0.190±0.138	0.200±0.142	0.180±0.169	0.300±0.206	0.260±0.219	0.185±0.172	0.155±0.155
SciRepregular	0.150±0.137	0.150±0.137	0.100±0.137	0.200±0.112	0.300±0.209	0.150±0.137	0.100±0.137	0.150±0.137	0.400±0.335
TMLRregular	0.182±0.141	—	0.250±0.224	—	—	0.136±0.104	—	—	—
AAAImain technical	0.164±0.131	0.097±0.111	0.110±0.102	0.111±0.113	0.131±0.107	0.145±0.129	0.186±0.154	0.105±0.104	0.112±0.108
AAAIsafe and robust AI	0.214±0.227	0.214±0.249	0.230±0.245	0.159±0.207	0.175±0.274	0.238±0.241	0.286±0.211	0.151±0.204	0.167±0.185
AAMASmain technical	0.134±0.105	0.079±0.098	0.099±0.105	0.210±0.168	0.106±0.086	0.183±0.196	0.252±0.230	0.085±0.092	0.127±0.106
ACLmain	0.154±0.144	0.162±0.131	0.213±0.147	0.150±0.150	0.189±0.129	0.205±0.186	0.201±0.184	0.193±0.167	0.158±0.111
AISTATSmain	0.266±0.261	0.212±0.171	0.176±0.185	0.231±0.178	0.179±0.160	0.231±0.178	0.302±0.256	0.251±0.176	0.223±0.189
CoGtechnical and vision	0.100±0.124	0.163±0.227	0.137±0.174	0.155±0.134	0.211±0.220	0.107±0.128	0.211±0.244	0.230±0.247	0.200±0.227
CVPRmain	0.242±0.216	0.201±0.213	0.228±0.205	0.154±0.181	0.192±0.194	0.249±0.229	0.239±0.202	0.244±0.207	0.196±0.195
ECML-PKDDresearch	0.102±0.180	0.141±0.046	0.188±0.191	0.169±0.158	0.231±0.149	0.141±0.162	0.164±0.193	0.212±0.148	0.164±0.200
EMNLPmain	0.117±0.167	0.150±0.127	0.117±0.088	0.108±0.104	0.158±0.153	0.183±0.114	0.200±0.210	0.150±0.127	0.150±0.118
FAccTmain	0.107±0.112	—	0.250±0.239	—	—	—	—	—	—
GFMall	0.164±0.016	—	0.198±0.130	—	—	—	—	—	—
ICASSPregular paper	0.275±0.239	0.261±0.200	0.246±0.240	0.203±0.219	0.232±0.186	0.290±0.252	0.290±0.252	0.232±0.223	0.217±0.204
ICCtechnical symposia	0.233±0.241	0.260±0.247	0.287±0.272	0.273±0.249	0.353±0.256	0.260±0.253	0.273±0.266	0.300±0.262	0.367±0.209
ICLRmain	0.103±0.109	0.108±0.107	0.141±0.117	0.119±0.108	0.148±0.130	0.104±0.093	0.133±0.124	0.135±0.113	0.108±0.091
ICMEregular	0.266±0.181	0.276±0.199	0.162±0.162	0.297±0.293	0.120±0.155	0.182±0.167	0.339±0.323	0.234±0.200	0.141±0.113
ICMLmain	0.135±0.115	0.196±0.137	0.186±0.135	0.190±0.150	0.266±0.183	0.170±0.123	0.167±0.138	0.222±0.166	0.153±0.102
ICMLposition	0.169±0.136	—	0.149±0.108	—	—	—	—	—	—
IJCAImain	0.190±0.141	0.159±0.121	0.174±0.143	0.198±0.139	0.095±0.130	0.238±0.162	0.182±0.142	0.214±0.141	0.119±0.192
IJCAIsurvey	0.062±0.116	0.094±0.129	0.188±0.222	0.188±0.222	0.188±0.222	0.188±0.291	0.125±0.189	0.219±0.160	0.219±0.160
IROSmain	0.121±0.109	0.104±0.039	0.125±0.065	0.093±0.093	0.143±0.080	0.086±0.043	0.057±0.049	0.107±0.035	0.211±0.188
KDDdatasets and benchmarks	0.078±0.050	0.214±0.228	0.217±0.205	0.175±0.166	0.256±0.208	0.189±0.198	0.231±0.188	0.186±0.209	0.200±0.174
KDDresearch	0.231±0.174	0.167±0.180	0.180±0.107	0.218±0.158	0.179±0.173	0.205±0.182	0.218±0.172	0.218±0.322	0.205±0.169
NeurIPSdatasets and benchmarks	0.249±0.196	0.193±0.203	0.161±0.197	0.170±0.210	0.174±0.202	0.268±0.187	0.471±0.265	0.268±0.253	0.176±0.187
NeurIPSmain	0.144±0.141	0.183±0.163	0.185±0.177	0.207±0.228	0.193±0.158	0.203±0.185	0.213±0.188	0.210±0.177	0.175±0.125
SIGIRfull paper	0.163±0.205	0.037±0.084	0.138±0.208	0.113±0.171	0.188±0.230	0.237±0.266	0.138±0.208	0.138±0.171	0.188±0.230
SIGIRshort paper	0.132±0.104	0.296±0.288	0.154±0.192	0.154±0.127	0.154±0.192	0.189±0.151	0.275±0.126	0.168±0.200	0.225±0.162
TheWebConfresearch	0.149±0.154	0.141±0.137	0.106±0.086	0.126±0.114	0.145±0.099	0.116±0.075	0.188±0.177	0.140±0.104	0.112±0.087
WACVmain	0.255±0.129	0.236±0.216	0.127±0.135	0.200±0.126	0.164±0.121	0.273±0.205	0.345±0.181	0.273±0.185	0.164±0.175

Understanding NMAE

Interpreting the numbers

Lower NMAE = better alignment. Top-performing models stay below 0.2.
The ± values show standard deviation, reflecting model stability across papers.

How we calculate it

\text{NMAE} = \frac{1}{N} \sum_{i=1}^{N} \frac{|S_{\text{gt}}^{(i)} - S_{\text{pred}}^{(i)}|}{S_{\text{max}} - S_{\text{min}}}

$N$ : the total number of benchmark papers included in the evaluation.

$S_{\text{gt}}^{(i)}$ : ground-truth overall rating of the i-th benchmark paper.

$S_{\text{pred}}^{(i)}$ : predicted overall rating produced by our CSPR agent.

$S_{\text{max}}$ & $S_{\text{min}}$ : venue-specific upper and lower bounds of the rating scale.

Want to learn more?

Explore the research and technical foundations behind CSPaper (a part of Scholar7):

Get high-quality reviews powered by the best AI models

We continuously evaluate and select the best-performing models to ensure you receive accurate, actionable feedback for your research.

Start your free review

Benchmark on LLMs and Venues

Privacy and security first

Benchmark Metrics

Accuracy (NMAE)

Bias (NME)

Ranking (SRC)

Elaborateness (AWC)

Understanding NMAE

Interpreting the numbers

How we calculate it

Want to learn more?

Get high-quality reviews powered by the best AI models