Door het flink toegenomen gebruik (leuk!) van onze Markxplaats dienst voor het ophalen van RSS feeds op de site van Marktplaats.nl, is het dataverbruik op onze server een beetje uit de hand gelopen (minder leuk).

Waar er vorig jaar nog sprake was van enkele tientallen tot een paar honderd MB per maand, is het verbruik in januari dit jaar opgelopen naar 15GB en zitten we deze maand al op een traffic van 31GB!

Limiet

Uit log-analyse blijkt dat er enkele gebruikers zijn die tientallen marktplaats-urls elke minuut checken op nieuwe advertenties. Uit commercieel oogpunt is dat wel te snappen, maar het moet voor onszelf en de server nog wel enigszins behapbaar blijven. De url van Marktplaats wordt door ons script uitgelezen, waarbij alle afbeeldingen en advertenties gewoon meekomen. Dat geeft een hoge load, zeker bij veel requests. Een pagina van Marktplaats is met alle advertenties al gauw 1.5MB.

Er is daarom inmiddels een limiet ingesteld van minimaal tien minuten tussen je uitvraagpogingen.

Opruiming

Tegelijk is het oude ASP-script van de server verwijderd. Deze deed nog geruime tijd dienst als opvang voor mensen die hun links niet hebben aangepast. Dat zal dus alsnog moeten gebeuren.