Archivo del Autor: Jorge

Acerca de Jorge

I'm a geogeek living near Valencia, Spain. I work on geomatics and I try to have fun with technology and free software.

Bicipaseo 21Sep

Mapping for the busy cartographer: today moving dots


This article describes how to make a quick map using some nice services we have at our hands. Nowadays almost everyone can create a maps using services like CartoDB, Mapbox, uMap or even Google My Maps. In this case I’ll show how I used the incredible flexibility of CartoDB to combine some Postgres/PostGIS SQL with CartoCSS to animate some dots on top of OSM cartography rendered by Mapbox.

This combination is really unique and convenient, other services only allow you to upload or draw some features and decide some static styling for them. But with this combination, using old SQL you can adapt your data for different uses, with CartoCSS the power of the Mapnik rendering library is available and finally, using the awesome Torque capabilities, animation can be added to our map.

About

The idea of this map is to represent a crowd of cyclists running along the future bike line by the interior ring of the city of Valencia. Tomorrow Sunday 21 September there will be a march to show the interest of city bikers for this line so my idea was to make people think about how the city look like with this (still imaginary) bike lane full of cyclists, instead of cars.

Data preparation

  1. Trace a line that represents the route
  2. Transform the line to EPSG:3857
  3. Make the line denser, placing points every 25 meters using the «Densify geometries given an interval» QGIS processing tool
  4. Convert the line to points (again with Processing) and give them these properties:
    • route it will serve to produce more routes in the future
    • lap to separate the points of the route of other points of interest outside the route
    • id to order the rendering of the points

Visualization

After uploading the dataset to my CartoDB account I’ve created a new visualization that will have these layers:

  1. A blurred line with the route
  2. A point marking the meeting place to start the activity, just in front of the city hall.
  3. The animated points moving over the route

Line

Load the layer paseo and customise the SQL. The SQL is quite self-explanatory, first we filter the points over the line and then we use the ST_MakeLine aggregated function to rebuild our original line.

WITH route AS (
  SELECT *
  FROM paseo
  WHERE route = 1 AND lap>0
  ORDER BY id)
SELECT
  1 cartodb_id,
  ST_MakeLine(the_geom_webmercator) as the_geom_webmercator
FROM route
GROUP BY lap

The styling of this layer is a simple CartoCSS rule with the only trick of a heavy blur filter.

#paseo[cartodb_id=1]{
    line-color: #A53ED5;
    line-width: 8;
    line-opacity: 0.7;
    line-comp-op: lighten;
    image-filters: agg-stack-blur(10,10);
}

Moving dots

This is the most important part of the map, of course. I have a path of points ordered and what I want is to show a more or less crowded ring of people moving. To do it, I’ve created a UNION of ten SELECTs to the table offsetting the id over the full range of id’s. To acieve that I’ve used this long SQL:

WITH route AS (
    SELECT * FROM paseo WHERE lap>0 AND route = 1
),
laps AS (
    SELECT
        cartodb_id, the_geom_webmercator,
        id
    FROM route r1
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 25 THEN id - 25 ELSE id - 25 + 254 END id
    FROM route r2
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 50 THEN id - 50 ELSE id - 50 + 254 END id
    FROM route r3
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 75 THEN id - 75 ELSE id - 75 + 254 END id
    FROM route r4
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 100 THEN id - 100 ELSE id - 100 + 254 END id
    FROM route r5
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 125 THEN id - 125 ELSE id - 125 + 254 END id
    FROM route r6
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 150 THEN id - 150 ELSE id - 150 + 254 END id
    FROM route r7
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 175 THEN id - 175 ELSE id - 175 + 254 END id
    FROM route r8
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 200 THEN id - 200 ELSE id - 200 + 254 END id
    FROM route r9
    UNION SELECT
        cartodb_id, the_geom_webmercator,
        CASE WHEN id  > 225 THEN id - 225 ELSE id - 225 + 254 END id
    FROM route r10
)
SELECT
    cartodb_id, the_geom_webmercator,
    ((random()*10-10) + id) id
FROM laps

The first with subquery filters the points of the path for this route that feed the next subquery: 10 unions with an id offset separation of 25 points. This subquery is passed to the main query that finally randomizes the id by +-5 positions, that is the order, so the moving dots are not regular, giving a more interesting (anarchic?) effect.

Using the wizard, the main aspects of the Torque animation are set up. It’s important to use a proper resolution, duration and frame count to adjust the rendering to a nice motion. Afterwards some last touches to the CSS to adjust the compositing operation and specially the trails, leaving just one more rendering of a similar point, instead of the default bigger and more transparent feature.

Map {
-torque-frame-count:64;
-torque-animation-duration:30;
-torque-time-attribute:"id";
-torque-aggregation-function:"count(cartodb_id)";
-torque-resolution:4;
-torque-data-aggregation:linear;
}

#paseo{
  comp-op: minus;
  marker-fill-opacity: 1;
  marker-line-color: #FFFFFF;
  marker-line-width: 0.5;
  marker-line-opacity: 1;
  marker-type: ellipse;
  marker-width: 6;
  marker-fill: #41006D;
}
#paseo[frame-offset=2] {
 marker-width:6;
}

Meeting point

To add a feature to the map to render the meeting point, I manually added a new feature to the layer using the CartoDB editor. This feature will have the property lap=0 so it won’t be on the other layers. The SQL for this layer is just a

SELECT * FROM paseo WHERE route = 1 and lap = 0

And the CartoCSS is quite simple with the only important trick to use an external SVG. I’ve used directly the town-hall marker from the Mapbox Maki repository.

#paseo{
  marker-fill-opacity: 0.9;
  marker-line-color: #FFF;
  marker-line-width: 1.5;
  marker-line-opacity: 1;
  marker-placement: point;
  marker-type: ellipse;
  marker-width: 40;
  marker-fill: #3B007F;
  marker-allow-overlap: true;

  marker-file: url(https://raw.githubusercontent.com/mapbox/maki/mb-pages/src/town-hall-24.svg);

Fixed info window

On this layer I’ve also configured an infowindow so when you click on the town hall icon you get some data about the schedule for the event.

Base map

I started using the Nokia day grey base map offered by CartoDB, but after a couple of iterations on the design, I thought it could be great to use a pale purple base map so I went to Mapbox web and quickly crafted a variation of their Mapbox Streets base layer.

Other components

Finally, using the new nice CartoDB layout capabilities I’ve added a simple title for the mobile version of the rendering and a couple of texts and an image (uploaded to imgur) for the logo of the group promoting this activity.

Conclusion

Well that’s all. You can check the visualization here. The job took like 4 to 5 hours. I finished the first animated version in 2/3 hours but you know, devil is in details and designing is always about iterations and refinement. Anyway I’m quite satisfied on the result and I think it serves for its purpose. Definitely I’ll have the opportunity to review and refine this process, as I imagine more routes and bike marches will happen in Valencia where bikers are winning the battle :-)

What do you think about this visualization. What do you like and what do you hate? Improvements? I’d love to hear your thoughts and comments to make better maps.

Update: almost same effect without crazy UNION

This morning Pedro-Juan asked my, why so many UNIONs? why not using just one long CASE?. After accepting the challenge I did something with CASEs but then realized that I wast just looping over a smaller set of id values, so I could use the modulo function. So the long UNION SQL could be reduced to this easy and simple SQL:

SELECT
    cartodb_id, the_geom_webmercator, 
    ((random()*10-10) + id%3) id
FROM paseo WHERE lap>0 AND route = 1

Wow, that’s so concise compared with the huge SQL above!! Using this id%3 I forced all the values to be just 1,2,3 but with the afterwards random the moving effect is achieved.

The CartoCSS would need also some changes to allow to “fill” the rendering over all the animation time. Check the differences with the above code, specially the number of offsets added:

Map {
-torque-frame-count:50;
-torque-animation-duration:8;
-torque-time-attribute:"id";
-torque-aggregation-function:"count(cartodb_id)";
-torque-resolution:2;
-torque-data-aggregation:linear;
}

#paseo{
  comp-op: minus;
  marker-fill-opacity: 1;
  marker-line-color: #FFFFFF;
  marker-line-width: 0.5;
  marker-line-opacity: 1;
  marker-type: ellipse;
  marker-width: 6;
  marker-fill: #41006D;
}
#paseo[frame-offset=4] {}
#paseo[frame-offset=8] {}
#paseo[frame-offset=12] {}
#paseo[frame-offset=14] {}
#paseo[frame-offset=16] {}
#paseo[frame-offset=18] {}
#paseo[frame-offset=20] {}
#paseo[frame-offset=22] {}

The resultant visualization can be accessed here. Which one do you like more? Do you think it’s worth the simplicity over the (in my opinion) slightly worse effect?

Cartografiando para Filipinas en OSM


Tras una semana frenética de actividad en OpenStreetMap para ayudar en todo lo posible en la crisis por el tifón Haiyan/Yolanda, acabar haciendo una sesión de formación y sobre todo construcción de comunidad en Valencia para mí ha sido toda una experiencia.

Por un lado la increíble respuesta de la comunidad OSM en general a esta crisis (ya casi llegamos a los mil colaboradores), con noticias cada día más esperanzadoras de la cantidad de información que se ha generado en tan poco tiempo, así como la actividad en la lista de correo del equipo HOT. Por otro lado artículos en medios de comunicación como The Atlantic y espectaculares visualizaciones como la del NY Times. Y finalmente la guinda con la sorpresa de obtener una buena aceptación por parte de los estudiantes de cartografía de Valencia para participar en la sesión.

De hecho se nos desbordó un poco el asunto y tuvimos que prometer que repetiremos la actividad la semana que viene en la universidad con ellos para que no vinieran todos hoy. Y menos mal porque hemos casi llenado las instalaciones que tan amablemente nos han cedido la gente de beCode. Creo que vamos a seguir contando con ellos para hacer cosas juntos, ya que casi sin conocernos nos han abierto sus puertas y nos ofrecido de forma desinteresada su local para que hagamos allí lo que se nos ocurra. ¿Mola no?

Al final hemos sido algo más de veinte personas, prácticamente todas noveles en OSM. Tras una charla ultra rápida sobre qué es OSM y qué íbamos a hacer hoy, la gente se ha puesto primero a pillarle en tranquillo a JOSM, y después ya a trabajar. Y la tarea no era para nada sencilla, ya que había que comparar datos anteriores al tifón (la imagen proporcionada por Bing) con la imagen del satélite Pleiades que Esri ha servido para que la comunidad pueda identificar los daños del tifón. Imágenes desplazadas, usuarios que no habían sido muy cuidadosos con la creación de cartografía y algunas nubes más o menos densas han sido los mayores problemas que ha tenido la gente para poder dar de alta nuevos edificios y carreteras y marcar aquellos que han quedado destruidos por el paso de Haiyan.

Como suele ser habitual en estas sesiones, han habido muchas dudas, algún problema técnico y unos cuantos despistes por mi parte pero en general la gente creo que ha entendido tanto la mecánica del trabajo en OSM, como la importancia del trabajo en estas situaciones de desastres medioambientales. Realmente sesiones como hoy hacen comunidad y me alegra ver que las nuevas generaciones de cartógrafos se interesan por estos temas, espero que cale el mensaje y desde Geoinquietos Valencia hayamos contribuido a aumentar la comunidad de OSM en nuestra ciudad.

A ver qué tal nos sale la semana que viene.

 

Primeras impresiones de Smart Citizen


Smart Citizen es un proyecto que apareció en goteo hace un año. Goteo es una web de crowdfunding al estilo de Kickstarter. Apareció poco después del Air Quality Egg, al cual llegué tarde para participar. Así que nada, cuando vi una idea similar me apunté sin pensármelo mucho. ¿Cuál es la idea? Bien es sencillo, imaginad una red completamente voluntaria para la medición de variables medioambientales, sobre todo aquellas relacionadas con la contaminación tanto acústica como de cualquier otro tipo. Esa red no estaría controlada por ningún organismo, realmente es una red porque existe una forma común de acceder a todos los datos, pero los miembros ni se conocen, ni tienen por qué tener los mismos objetivos, ni las mismas motivaciones. ¿A que recuerda a otras actividades similares? Efectivamente, se trata al igual que en OSM por ejemplo, de «mapear» el territorio solo que de una forma diferente, un paso más allá de la representación estática de la realidad, hacia un conocimiento más profundo de nuestro entorno al entrar en el mundo de los sensores en tiempo real, de la famosa Internet de las Cosas.

Tanto Smart Citizen como AQE solo son los comienzos de una nueva generación de hardware, software y servicios que nos harán ser más conscientes (y espero concienciados) de nuestro entorno, de la calidad del mismo y de cómo evoluciona tanto en el corto plazo como con miras un poco más alejadas. Con todo este conjunto de datos en bruto publicados en tiempo real, ¿quién sabe qué innovaciones veremos en los próximos años y cómo éstas afectarán nuestras vidas?.

En fin, volviendo al caso concreto de Smart Citizen, hace poco me llegó la placa. Básicamente es una placa Arduino con una placa superior de sensores (shield en el argot Arduino) y una batería. La placa ya viene con el software precargado aunque ciertamente van a ir saliendo actualizaciones del mismo que hay que cargar con el entorno de desarrollo estándar de Arduino, sin mucho más misterio.

SCK

Para poner en marcha la placa solo hay que configurar la red wifi a la que se conectará. Esto se hace a través de la web mediante un applet java que realiza todo el proceso. El único problema que tuve es que en mi caso, cuando se genera el puerto para el dispositivo no tengo permisos para usarlo por lo que tuve que ejecutar un sencillo sudo chmod 777 /dev/ttyACM0 para que fuera capaz de cargar la configuración. Una vez cargada, se reinicia la placa y empieza a enviar datos sin mayor inconveniente, quedando publicados de forma automática en la web.

La web todavía está en desarrollo, bueno TODO está aún en desarrollo, incluyendo el firmware que ciertamente aún no presenta los datos de los sensores todo lo bien que debiera. Por ejemplo los valores de calidad de aire vienen en Ohmios, en lugar de las más típicas «partes por millón». Todo esto estoy seguro que se irá puliendo y aún cuando algún sensor no vaya del todo fino (me temo que el de sonido, por ejemplo), solo como primera aproximación a lo que puede ser el disponer de una red de sensores publicando en tiempo real toda esta información es más que interesante.

La red Smart Citizen está sobre todo (de momento) enfocada en Barcelona, de hecho la mía es la única placa hasta la fecha activada en la provincia de Valencia.

Smart CItizen en Barcelona

Por otro lado todavía hay mucho que hacer en cuanto a la presentación de los datos que se van subiendo a su plataforma. Además de la web del sensor hay algún punto de acceso para descargar en formato JSON todos los registros y también una web para ver datos más antiguos que los escasos 20 minutos que se pueden ver desde la web oficial.

En fin de momento eso es todo, la placa ahora mismo la tengo «indoor» porque aún tengo que ver cómo le conecto un panel solar o bien saco un cable USB para poder tenerla en el balcón de casa, y que haga medidas lo más estables posible. Ya iré contando.

Geocamp


La semana pasada en Óbidos tuvo lugar el tercer Geocamp de Portugal. Geocamp es un modelo de jornada en cierta manera similar a otras desconferencias como las Barcamp o las Wherecamp donde la idea inicial es que la gente llegue y proponga sus charlas y el mismo día se organice todo el evento en función de lo que le apetezca a la asistencia.

En realidad esto este año no ha sido del todo así porque el programa parece que estaba más o menos claro al arrancar el día y por tanto no hubo esa dinámica de grupo de decidir qué se presenta y cuándo. Así y todo sí se hizo una ronda inicial de presentación de todos los asistentes, cosa que está muy bien para tener una idea de qué tipo de gente asiste, qué podrían esperar y tal.

Yo acudí con Pablo, Micho y Fran, unos amigos geoinquietos gallegos que muy amablemente me recogieron en Oporto y con los que pasé el fin de semana.

Cuando me inscribí no tenía ninguna idea interesante que contar pero al poco tiempo y viendo un trabajo que había empezado yo y que estaba terminando Vicente, pensé que podía ser un caso de uso que podría quedar bien en un evento como el Geocamp. Se trata de un pequeño ejemplo de uso de Geokettle, un software que usamos a diario en Prodevelop para todo tipo de tareas que hay que ejecutar de forma repetida y a menudo desatendida. Geokettle es un verdadero GIS de escritorio (en su variante gráfica) que permite diseñar complejos flujos de trabajo en los que se involucran datos geográficos y que luego pueden ejecutarse por consola de forma programada. Dejo el enlace a las diapositivas que darán una idea (en parte divertida espero) sobre lo que conté.

Fom CAD to DB

Centrándome en el evento, me gusta mucho el formato por varias razones. En primer lugar el detalle con el que se diseña, buscando un lugar alejado de la ciudad pero que tenga algo que ofrecer, una comida en un espacio abierto al aire libre en el que poder conversar con una cerveza fresquita, varias pausas que buscan tanto el descanso como la conversación, que sea un evento para poca gente donde prime la interactividad frente a la pasividad de «ir a que te cuenten un rollo», la multidisciplinariedad de las charlas variando del open data en la administración electrónica al uso de drones para fotogrametría o el arte digital. Lo importante es que siempre hay un punto de conexión en las ciencias de la información geográfica, pero con una amplitud de miras que invita a participar y charlar.

2013-05-25 13.43.05

Si no tienes nada realmente interesante que hacer el 22 de junio y esto que te he contado te parece atractivo, que sepas que los mismos amigos gallegos con lo que pasé el fin de semana pasado están organizando para ese día un evento muy muy, pero que muy parecido. Se llama Geocamp, oh sorpresa. Yo voy, pero lo que es más importante, gente tan interesante como Juan Freire, Juan Marín o Jorge Arévalo estarán por allí para pasarlo bien.

¿A QUE TE APUNTAS?

Geohacking against corruption


Last week I was with three colleges of Prodevelop and other 20 hackers at the 15th Anticorruption Conference in Brasilia. We participated in a four days hackathon working in groups to create web or mobile applications about transparency and corruption.

How we end up on that event? Well Alberto read the call at a mailing list and we signed up without too much confidence, but 6 days before the event we got an email, 2 days before the flight tickets were arranged and 1 day before we got the accommodation information. Yes that was crazy. In fact everyone said we were crazy but well, why not?

Anyway, we arrived and met some incredibly interesting people, many of them working on transparency and corruption fight. They presented their projects, ideas or needs and we set up 8 or 10 groups to collaborate. Most of people were developers but others were designers, lawyers and well, you know, a cartographer :-).

Final tweaks before application presentations #15iacc

After four days of coding, some partying, an unknown number of beers and table football plays and not too much sleeping we presented our projects to a jury that decided a prize winner to further development of their idea. Yeah, there was a prize and most of us didn’t know about it after two days or so of working.

Techincal tools wrap up

Hacker futbolín

I worked with Alberto and Dani on the idea of see how a 3D globe visualization could work to visualize the brand new Open Bank Project API (more info at our project slides). This API is aimed to give information to any organization that wants to offer their bank activity. We thought that a 3D visualization could be powerful and well, we think we were quite successful according to the number of questions and comments. Simon, the API developer was there and he thought that expressing the bank activity as a concatenation of sounds could be also expressive and at the end we saw some bank accounts singing!! Thus at the end we had to pretty different “visualizations” of their new API.

Money Journey

Our fourth prodeveloper, Carlos, worked with Juan and Gustavo to produce a new layer that tracks the relation between deforestation and cattle ranching at Amazonas region. They designed a new layer for Infoamazonia portal using TileMill and Mapbox and with the help of a fellow, it was deployed and ready to be published.

We spend a week learning of amazing people, some of them working really hard to make our world better so for me it was a great experience and I was not so surprised to see how well geospatial technologies fit on this field and how we, the geospatial professionals, can help these people to develop interesting applications. I hope we will have more opportunities to work with them in the future.

And because being grateful is a good thing, I want to thank Transparency International for giving us the opportunity to be at Brasilia and do all this stuff, thanks!!

IMG_8690

Update: Just for the records, I’ll add also a nice video created by Alberto with more photos of our week at Brasilia

OpenLayers Cookbook


OpenLayers CookBook

I’ve been honoured to help Antonio to produce this book as a technical reviewer so I owe him at least a short note here (well in fact I promised him to do it!). Having the opportunity to review the book itself has been a great pleasure and an enriching experience, always with the help (and patience) of the Packt people over eight weeks of work. There are some good reviews of the book here and here so I won’t repeat what’s so well described there, take a look on them to see the contents covered and their (good) feedback on the book.

If you know some HTML and JavaScript and really want to get introduced on how to build geospatial web applications, I vividly encourage you to get this book and go beyond the basics with meaningful recipes that step by step, showcase the most important parts of the OpenLayers API.

In my experience, one can start from scratch with the examples but there are many concepts that is better to understand well, like the difference between formats, protocols and strategies (that I finally understood back in 2009, thanks to this great presentation by Tim Schaub). That and more is well covered through examples, really easy to follow and reproduce. Thus I think it’s a good investment to take a book and let someone to tell you how the thing works, isn’t it?

Ah, and as Alper has written on his review:

Please buy the book to support writer instead of downloading the illegal copies. This will courage more people to write this kind of books to support Open Source projects like OpenLayers.

6th anniversary!


all-vegan birthday cake!

Today this blog is six years old. That’s a lot of time and it deserves at least a small post to remind you this blog is still alive even if we don’t post a lot. Vicente is busy with his company, Pedro is busy with his recent fatherhood (his baby was born yesterday!!) and me, well I’m busy with my stuff ^_^. But we are lucky at geomatic blog because we have a lot of friends and from time to time we convince someone to join the family and post about what they love as Roberto our astronomer did recently about the summers solstice.

We will try to keep posting as we have time, energy and interesting stuff to share. In the meantime, follow us on twitter (we post interesting links from time to time there) and of course, if you are close to us and don’t have or want your own blog, you are invited to join the team and consider geomatic blog as your home for your geogeekery.

Congratulations to all the team!!