Množična obdelava v HubSpotu

Pri obsežnih implementacijah HubSpota je eden največjih ozkih grl vnos podatkov. HubSpotov API je močan, vendar lahko omejitve hitrosti (rate limits) in omejitve velikosti paketov povzročijo precejšnje težave pri množičnih prenosih.

Zato sem ustvaril hubspot-bulkify.

Težava

Standardni klici API-jev so pogosto prepočasni za tisoče zapisov. Potrebujete:

1. Pakiranje (Batching): Združevanje zapisov v pakete po 100 ali 1000.
2. Omejevanje hitrosti (Rate Limiting): Zagotavljanje, da ne naletite na napako 429.
3. Obravnava napak: Kaj se zgodi, če 1 zapis v paketu 100-ih spodleti?

Rešitev

hubspot-bulkify poskrbi za vse to samodejno. Z uporabo knjižnice Bottleneck za omejevanje hitrosti in robustno logiko paketne obdelave zagotavlja, da vaši podatki pridejo tja, kamor morajo – varno in hitro.

import { batchAndUpload } from "hubspot-bulkify";

await batchAndUpload({
  data: myLargeArray,
  batchSize: 100,
  uploadFunction: myHubspotUploadFunc,
  rateLimit: { maxConcurrent: 2, minTime: 1000 }
});

Preverite projekt na GitHubu.