Copy

Nieuwsbrief #1

3 september 2020 - Middels deze nieuwsbrief houden we u op de hoogte van nieuws en updates rond geotoko.nl.
Wordt de inhoud hier niet goed weergegeven? Bekijk deze nieuwsbrief in uw browser.

U ontvangt deze nieuwsbrief omdat u geotoko.nl klant bent of zich voor deze nieuwsbrief heeft aangemeld. Wilt u deze niet meer ontvangen? Onderaan staat een link om u permanent af te melden.  

Vragen? Stuur een email naar onze helpdesk: support@geotoko.nl 

Nieuw Product: BAG-CBS Adressen Woning CSV

Om maar met het voornaamste nieuws te beginnen: sinds 2 september 2020 is dit product beschikbaar op geotoko.nl. TLDR; Bekijk in de GeoCatalogus de voornaamste kenmerken, m.n. de beschikbare velden/kolommen. U kunt daar ook een voorbeeldbestand bekijken en downloaden. U kunt natuurlijk ook dit bestand in de webshop aankopen. Dit bestand zit ook in de dataset "BAG (NLExtract) Alle Downloads", ook voor klanten die daar al een abonnement op hebben.



De "BAG-CBS Adressen Woning CSV" bevat adressen uit de BAG met coördinaten in RD en WGS84, verrijkt met CBS gegevens voor Gemeente en Provincie. De bestanden in deze set bevatten velden zoals in de producten "BAG-CBS Adressen Uitgebreid" en "- Basis" CSV.

Deze dataset is echter uitgebreid met velden (totaal 50 velden!) met betrekking tot "Woning Informatie". Denk aan bijvoorbeeld "Woningtype". Deze is gebaseerd op de Kadaster Woningtypering, bijv "Appartement", "Hoekwoning", "Twee-onder-één-kapwoning" etc.

Een Verblijfsobject (VBO) kan meerdere gebruiksdoelen hebben. Daarom zijn deze gebruiksdoelen uitgesplitst in aparte velden, steeds met waarde 1 of 0.

Verder zijn er velden m.b.t. het aan het VBO gerelateerde Pand(en) zoals Pand omtrek en totale oppervlakte van het Pand. Zelfs de verhouding tussen alle VBO en Pand oppervlaktes is aanwezig. Dit zegt iets over de hoogte van het Pand. Lees hier een volledige beschrijving alle kolommen (PDF). Er is ook een formele SQL definitie beschikbaar.

Alle informatie in deze dataset is door (SQL) analyse uit de BAG (en CBS voor Gemeente/Provincie koppelingen) afgeleid dus zonder koppelingen met andere datasets. Het SQL script is ook beschikbaar als Open Source in het NLExtract Project. Grote dank gaat uit naar "PeeWee" de oorspronkelijke auteur van dit SQL script. Lees op LinkedIn zijn beschrijving.

Nieuw achter de Schermen: De GeoFabriek

Om onze producten (PostGIS Dumps, CSVs) te genereren vanuit de Basisregistraties (BAG, BGT, BRK, BRT) gebruiken we het Open Source NLExtract Project waarin Just van den Broecke een van de voornaamste ontwikkelaars is. NLExtract verzorgt de conversie (ETL) van de brondata (meestal GML) naar PostGIS en CSV.

Om echter een complete "workflow" te realiseren van brondata, beschikbaar bij Kadaster-PDOK, naar uiteindelijk de producten beschikbaar via de GeoToko website, zijn meer stappen nodig: downloaden brondata (BAG: als er een nieuwe versie is), converteren, data dumpen, verpakken (.zip), beschikbaar stellen, versie/metadata in de GeoCatalogus updaten etc. Ook is het nodig bij iedere stap kwaliteits-checks te doen. Stel de download lukt half, dan willen we niet een halve dumpfile opleveren. Ook willen we het hele proces kunnen volgen (monitoring, logging) en bij fouten later analyse kunnen doen.
Een hele cyclus duurt in totaal zo'n 10-20 uur afhankelijk van Basisregistratie. In feite is een processing-server alleen gedurende die tijd nodig. Het is in meerdere opzichten zonde (server-huur en stroom/CO2) om servers 24x7 te laten draaien waarin ze het grootste deel van de tijd niets doen.


Om bovenstaande uitdagingen het hoofd te bieden is het concept/product GeoFabriek bedacht. De eerste versie kwam 15 aug 2020 beschikbaar. Het komt er in feite op neer dat er geen handmatige handelingen meer nodig zijn. In de (Docker) Cloud draait nu de GeoFabriek. Omdat ook de "Server Provisioning" (software installatie en configuratie op een lege/nieuwe server) is geautomatiseerd (middels Ansible) kan een conversie-workflow draaien alleen wanneer nodig en parallel.

Nu zult u (hopelijk) niets van dit alles merken, maar we noemen dit toch graag omdat we ook best trots zijn op dit product. 

Wat wel veranderd is: de GeoFabriek gebruikt nu PostgreSQL versie 10.7 en PostGIS versie 2.5. Reden voor een tamelijk lage PostgreSQL versie is dat de database dumps in the Postgres "Custom" format zijn (i.p.v. SQL). Deze zijn altijd in te lezen in hogere PostgreSQL versies (11,12,13 etc). De reden voor het "Custom" format is dat deze veel kleinere dump bestanden oplevert en sneller in te lezen (restoren) is. We zouden liever SQL dumps leveren, maar dat is zeker voor bijv BGT ondoenlijk qua file-groottes.

 

De Toekomst: TODO

De "winkel" is opengegaan op 15 februari 2020. Al snel mochten we de eerste klanten ontvangen. Vooral konden we (potentiële) klanten nu ook gestructureerd helpen middels onze Helpdesk, gebaseerd op Freshdesk. Aarzelt u niet om een vraag of suggestie daar te doen. Registratie op de Helpdesk zelf is niet nodig. Stuur een mail naar support@geotoko.nl. We proberen daar nu ook zoveel mogelijk de Kennisbank in te vullen o.a. n.a.v. vragen die we binnenkregen.

GeoToko en GeoFabriek blijven voortdurend in ontwikkeling. N.a.v. uw wensen en onze ambities hebben we een "TODO-lijst" met daarin onder andere de volgende items:

 

  • Behoud dezelfde download link bij hernieuwde aankoop zelfde product (m.n. voor geautomatiseerde verwerking)
  • Email notificatie als een abonnement gaat verlopen
  • Nieuwe datasets (heeft u suggesties?)
  • Additionele data dump formats, bijv GeoPackage
  • Kennisbank aanvullen, m.n. hoe/wat voor datasets verwerken
  • BAG 2.0 
  • Website design (is nu erg basic)
Laat ons weten voor aanvullingen en suggesties via support@geotoko.nl.

 


 

Volg ons op Twitter
Onze Website
Copyright © 2020 Geotoko.nl - Hapklare Geodata, All rights reserved.


Wilt u geen nieuwsbrief meer ontvangen? Meldt u hier af.
U kunt hier uw voorkeuren wijzigen.
Email Marketing Powered by Mailchimp