Ou l’art de documenter facilement une base de données

#mylife je viens de commencer un nouveau boulot chez La Roue Verte, une entreprise de covoiturage sur Grenoble, qui met à disposition son outil gratuitement pour les particuliers et base son business model sur du SASS avec les entreprises.

Pourquoi je vous raconte ça ? Parce que lorsque l’on commence un nouveau travail, il faut  « rentrer dans la base de code », autrement dit, se familiariser avec le produit. J’ai donc eu la proposition suivante : « On a pas de doc, et ça nous embête, or, quel meilleur moyen de rentrer dans le code que de la rédiger ? Si tu es capable de faire la doc sans faute, c’est que tu as compris comment ça marchait ! ».

Un traitement de texte ? C’est quoi ?

Aussitôt dit, aussitôt fait, me voici à devoir documenter une base de données PostgreSQL, le modèle de notre application. Aucune contrainte sur les outils à utiliser, il faut juste que le rendu final soit un PDF. La solution de facilitée aurait été d’ouvrir LibreOffice Writer et de prendre une à une chaque colonnes de chaque tables en la décrivant. Cela peut sembler fastidieux, mais de toute manière, je n’y échapperai pas. Non, ce qui m’ennuyait dans cette solution, c’était le maintien à jour des données. Si la doc aurait été à jour au moment de sa création, il y avait fort à parier que le fichier texte n’allait pas être modifié par les développeurs lorsqu’ils modifieraient le schéma de la base, que ce soit par oubli, par flemme ou par manque de temps. Or, dès que le document n’est potentiellement plus le reflet exact de la base, même si la différence entre les deux est mineure, il ne devient plus possible de s’y référer, on ne peut pas savoir ce qui est correct de ce qui n’est plus à jour. L’intégralité du document (et ma vingtaine d’heures passées à le rédiger) devient inutile. Une doc pas à jour équivaut à « pas de doc ».

La génération automatique à la rescousse

La solution pour avoir une documentation toujours à jour ? La générer directement depuis le schéma de la base de données. Un coup de DuckDuckGo, et je découvre Autodoc, un outil en ligne de commande à qui on donne simplement l’accès à la base de données, et qui nous extrait des fichiers au format HTML, Dot, Dia et DocBook XML. HTML ? Parfait pour moi ça. Facile à mettre en forme en deux coups de CSS, qui se transformera en une seconde en un PDF grâce au « Imprimer dans un fichier » de Firefox… Je lance la génération.

Toutes les tables sont là, les colonnes aussi, mais aussi les contraintes (clef primaire, clef étrangère, not null, valeur par défaut…) ou encore les fonctions triggers, des statistiques, bref, beaucoup de choses. Les graphiques .dot ne sont pas vraiment exploitables, mais pas grave, ce n’est pas ça qui m’intéresse. Après un coup de CSS pour rendre le résultat moins moche, j’ai maintenant une documentation qui se génère en une commande, et qui est donc toujours à jour par rapport au schéma de la base de données.

C’est une bonne nouvelle, mais les informations contenues dans ce HTML sont finalement assez faibles. Il n’y a rien de plus que ce que je pourrais lire dans le create.sql, certes, sous une forme un peu plus lisible, mais tout de même, ce qui est intéressant, c’est de dire à quoi correspondent chaque table et chaque colonne. Ici, je connais leur type et leurs contraintes, et je peux imaginer ce qu’elles font grâce à leur nom, mais tout de même, ce n’est pas cela que l’on appelle une documentation.

COMMENT ON, THE solution

Après quelques recherches supplémentaires, j’ai donc trouvé la solution idéale pour le moment : COMMENT, qui permet d’ajouter très facilement un commentaire à à peu près tout et n’importe quoi (table, column, constraint, index, database… la liste est longue, vous pouvez la consulter dans la doc). La syntaxe est ultra simple :

COMMENT ON TABLE user IS 'Contient les utilisateurs inscrits dans l''application.'; -- Ajoute un commentaire sur la table "user"
COMMENT ON TABLE user.name IS 'Le nom de l''utilisateur'; -- Ajoute un commentaire sur la colonne name de la table "user"

Un coup de génération, et les commentaires s’affichent dans le .html :)

Cerise sur le gâteau, postgresql_autodoc nous permet de choisir le template sur lequel il doit se baser pour génerer la doc. J’ai donc modifié ce fichier pour retirer tout ce qui était inutile, améliorer le design et lui demander d’interpreter le HTML dans les commentaires. Magnifique ! Grâce à des <span class="technique"> et un bout de JavaScript, nous voici maintenant capable de masquer ou afficher en un clic les parties techniques de la documentation, celles qu’on a pas besoin de montrer quand on présente la partie métier de l’application.

Bien sûr, cette solution n’évite pas le fait que si un commentaire n’est pas ajouté ou pas mis à jour lors de la modification du schéma, la doc ne sera pas exactement à jour. Mais comme elle se base sur le schéma pour être généré, on est absolument sûr que toutes les tables et colonnes sont là et avec le bon nom, ce qui est déjà nettement mieux qu’une doc non reliée à la base de données.

Voilà, la mauvaise nouvelle, c’est que la commande COMMENT est spécifique à PostgreSQL et n’est pas dans le standard SQL, mais de toute manière, Postgres est la meilleure DB non ?

Dans les 42 minutes qui suivent l’installation d’Ubuntu

Je viens de me réinstaller (non sans mal) mon Ubuntu, en profitant pour mettre la dernière version, la 13.10. Comme d’habitude, j’ai mon rituel d’après installation. Et comme c’est la mode et que tout le monde le fait, je vais partager avec vous le contenu de mon fameux fichier « TODO after a fresh install »

  1. Installer guake, reconfigurer mes raccourcis clavier, le lancer automatiquement au démarrage
  2. apt-get update && apt-get dist-upgrade
  3. Restaurer les profils firefox et thunderbird. C’est pas trop dur, je les copie de mon disque dur, et je retrouve tous mes onglets ouverts et tous mes mails sans avoir besoin de les retélécharger
  4. Aller sur upubuntu.com et télécharger le dernier kernel. Oui, j’aime être constamment sur le dernier noyau Linux.
  5. Rajouter pcie_aspm=force à la commande de boot dans /etc/default/grub, ça me fait gagner ~20% d’autonomie (puis rebooter :p)
  6. Ouvrir le software updater et activer les dépots Universe (les logiciels proposed et ceux packagés par Canonical)
  7. apt-get update && apt-get dist-upgrade once again, proposed a rajouté plein de choses :)
  8. Restaurer tous mes alias depuis mon ancien .bashrc
  9. Désactiver les suggestions amazon dans l’onglet privacy
  10. Installer VLC et le mettre comme lecteur par défaut
  11. Installer gimp
  12. Installer HexChat le paramètrer pour se logguer immédiatement à mes salons favoris sur Freenode et mozilla
  13. sudo fstrim -v / (on commence à avoir bougé beaucoup de choses sur ce SSD, faut trimer !)
  14. Taille des icônes du dash à 32px, retirer tous ces lanceurs qui servent à rien (Amazon, Ubuntu One, LibreOffice, Logithèque) et rajouter ceux qui rocks (Thunderbird, HexChat, Gimp…)
  15. Mettre un fond d’écran qui déchire et ne pas oublier de lui mettre les permissions pour qu’il s’affiche dès la page de login
  16. Paramétrer un peu gedit, couleur sombre, affichage des numéros de ligne, mise en valeur de la ligne et de l’accolade courante…
  17. Restaurer mon dossier de travail sur diaspora :D et au passage, mes clefs ssh sur les serveurs…
  18. Mettre à jour le franćais dans les paramètres de langue
  19. Installer wine, directplay avec winetricks, et Age Of Empire 2 :D
  20. Pareil avec Heroes 3, mais la version pour GNU/Linux

Je vais certainement faire des tonnes de choses de plus dans les jours qui suivent, mais là, c’est ce qui me vient à l’esprit après une fresh install :)

Conférence « Avoir une vie privée sur Internet » à Grenoble mardi 3 décembre

Ceux qui suivent un peu ce blog l’auront remarqué, la vie privée sur internet est un sujet qui me passionne. Et bien sachez que je ne fais pas qu’écrire des blogposts, je donne aussi des conférences sur le sujet en tant que contributeur mozilla. Je serais donc à l’Ensimag, sur le campus de St Martin d’Hères à côté de Grenoble mardi 3 décembre, pour parler de vie privée sur Internet, et présenter Lightbeam (Ex Collusion), le module complémentaire tout neuf de la fondation mozilla qui vous permet d’observer vos observateurs. Armé de cet outil, nous répondrons ensemble à la fameuse question « C’est quoi le problème, j’ai rien à cacher ! » et une fois que tout le monde sera convaincu du contraire, nous verrons les solutions qui existent pour se protéger, selon les moyens que nous acceptons de mettre.

lightbeam screenshot

Rendez-vous donc à l’Ensimag (Plan d’accès) mardi 3 décembre à partir de 19h.

Cette conférence est organisée par la Guilde, le Linux User Group de Grenoble, que je remercie chaleureusement pour l’invitation :)

Présentation du Service de Géolocalisation de Mozilla

Ce qui suit est une traduction d’un article du blog Mozilla.

Le Service de Géolocalisation Mozilla est un projet pilote expérimental fournissant des positions GPS basées sur les informations publiquement accessibles d’antennes de téléphonie mobile et de points d’accès WiFi. Encore à ses prémisses, le projet propose déjà une couverture de service basique avec une sélection de positions fournies par nos contributeurs et premiers adeptes.

Carte des positions existantes

Bien que de nombreux services commerciaux existent déjà dans ce domaine, il n’y a actuellement aucun service public de grande ampleure fournissant cet élément crucial de tout écosystème mobile. Les téléphones mobiles ayant un faible signal GPS et les ordinateurs portables sans puce GPS peuvent utiliser ce service pour identifier rapidement leur position approximative. Même si basées sur des signaux publiquement accessibles, les données de positionnement sous-jacentes sont par nature personnelles et extrêmement sensibles. Mozilla souhaite ardemment améliorer tous les aspects de ce service concernant la vie privée des parties impliquées.

Si vous souhaitez nous aider à construire notre service, vous pouvez installer notre application Android dédiée, MozStumbler, et vous amuser à rivaliser avec les autres utilisateurs dans notre classement en ligne ou choisir de contribuer anonymement. Le service évoluant rapidement, vous pouvez vous attendre à voir prochainement une expérience utilisateur plus complète. Pour avoir un aperçu de l’expérience actuelle, vous pouvez vous diriger vers le blog de Soledad Penadés qui a écrit une introduction bien plus poussée que la notre.

Toute idée ou inquiétude à propos de ce projet sont les bienvenues et nous apprécions tous les retours ou cas d’utilisation que vous voudrez nous transmettre. Vous pouvez nous contacter soit sur notre liste de diffusion soit directement sur notre canal IRC #geo sur le serveur IRC de Mozilla.

Pour plus d’informations, veuillez suivre les liens sur la page de notre projet.

Hanno Schlichting, au nom des équipes Géolocalisation et Services Cloud

Le scandale de la NSA pour les nouilles

Je n’ai pas l’habitude de reprendre du contenu d’autres sites web dans mes propres articles. D’ailleurs, je reste fidèle à ce principe, puisque je ne vais pas le faire ici. Pour autant, ce billet a comme premier objectif de vous renvoyer vers celui de klaire que je viens de découvrir :

Le scandale de la NSA pour les nouilles

J’ai trouvé cette infographie très claire et bien réalisée, je vous encourage donc à la découvrir et à la partager comme je viens de le faire. Elle est pour moi un support idéal pour résumé l’ampleur de l’histoire à un public pas forcément touché par ce genre de révélations.

Allez, c’est votre devoir maison, faîtes-le, maintenant ! Présentez ce document à des gens autour de vous et faîtes les réfléchir sur le sujet !

… C’est bon, c’est fait ?

Bon. Alors, vous avez probablement eu deux types de réactions différentes après la lecture de l’infographie :

Réaction possible numéro une : « Moi, j’m'en fous, j’ai rien à cacher, rien à me reprocher, ils s’en foutent la NSA que je bouffe du fast food et que mon père soit charpentier. »

Voici comment je réagis à ce genre d’affirmation (n’hésitez pas à partager dans les commentaires comment vous réagissez vous, ça m’intéresse ! On peut sûrement peaufiner notre discours pour qu’il soit le plus convainquant possible) :

  1. Le problème de l’État lui même : En théorie, l’État oeuvre pour le bien des citoyens. En réalité, on voit bien que c’est pas toujours le cas. Et surtout, même s’il prend soin des citoyens en ce moment même, on ne sait pas de quoi le futur sera fait, et laisser 50 ans de données à la nouvelle dictature du futur n’est pas quelque chose qui m’enchante. (Imaginez vous un instant si un dictateur avec des idées d’éradication arrivait au pouvoir maintenant que Facebook est là, avec tout ce que vous avez pu y publier depuis des années…)
  2. Le problème des entreprises qui nous embauchent : On dit ce qu’on veut sur le respect de la vie privée, clairement, les recruteurs et même les RH une fois dans l’entreprise surveillent ce que vous dîtes sur les réseaux sociaux. Et dans la période de chômage actuelle, les entreprises peuvent se permettre de faire les difficiles sur les gens qu’elles embauchent, ce qui est loin d’être le cas pour les personnes cherchant du travail…
  3. Le problème des entreprises dont nous sommes les clients : c’est pour moi clairement le plus gros problème, pourtant, nous n’entendons généralement que les deux premiers quand on parle de vie privée. C’est le plus gros car c’est celui qui nous impacte le plus souvent, le plus facilement. Prenons un exemple simple, vous voulez assurer votre moto. Vous êtes un garçon, de 24 ans, avec le permis depuis 4 mois. Rien qu’avec ces trois critères (age, sexe, durée de permis), nous voyons une différence de tarif du simple au double avec par exemple une femme de 40 ans ayant le permis depuis 15 ans. Juste parce que, statistiquement, vous avez plus de chance d’avoir un accident. Alors imaginez maintenant que, statistiquement, il se révèle que les gens aimant les fast food et ayant un père charpentier ont deux fois plus d’accident que les autres (c’est un exemple, je n’ai rien contre les charpentiers, bien au contraire). Que va faire votre assurance, à votre avis ? Doubler le prix. Voici quelque chose qui implique votre vie en ligne, ou vous n’avez « rien à cacher », et qui impact pourtant directement votre vie réelle, hors ligne, votre portefeuille. J’ai beaucoup de choses à dire sur ce sujet, et il fera donc l’objet d’un autre article, mais j’espère vous avoir déjà mis la puce à l’oreille.

Réaction possible numéro deux : « OMG OMG OMG c’est horrible qu’est-ce que je peux faire ? »

J’ai déjà donné quelques pistes dans mon précédent article lors des révélations sur PRISM. Je ne vais pas m’étendre sur le sujet une fois de plus, l’objet de ce billet était surtout de vous faire découvrir l’infographie de @klaire. En résumé : utilisez des logiciels Libres (Firefox, pas Internet Explorer ni Chrome, si vous avez un geek sous la main, demandez lui de vous installer Linux), éviter les services des entreprises américaines (prism-break.org résume bien les alternatives existantes), protéger son surf (installer les extensions httpseverywhere et ghostery (ou disconnect.me) dans firefox, activer do not track et désactiver les cookies tiers dans firefox…). Je m’étendrai certainement plus sur ce dernier point dans un prochain billet. En attendant, diffuser l’infographie, le monde doit savoir !

Comment réorganiser ses comptes de messagerie dans Thunderbird

Thunderbird
Si vous utilisez Thunderbird avec plusieurs comptes de messageries, vous vous êtes sans doute aperçu que ceux-ci sont listés dans le menu de gauche par ordre chronologique de leur création dans Thunderbird. Mais peut-être qu’au fil du temps, l’importance de ces comptes a changé et que vous préféreriez les lister différemment ?

Et bien, même si ce n’est pas faisable depuis l’interface, c’est néanmoins possible !

Il suffit de modifier les deux variables mail.accountmanager.accounts et mail.accountmanager.defaultaccount dans le fichier prefs.js de votre profil Thunderbird.

Commencez par fermer Thunderbird puis ouvrez ce fameux fichier avec votre éditeur de texte préféré. Sous GNU/Linux, il se trouve dans ~/.thunderbird/<your profile>/prefs.js, sous XP dans C:\Documents and Settings\<your profile>\Application Data\Thunderbird\Profiles\****.default\prefs.js et sous Vista ou 7 dans C:\Users\<your profile>\App Data\Roaming\Thunderbird\Profiles\****.default\prefs.js. <your profile> étant souvent des caractères aléatoires + .default à la fin.

Ensuite, repérez la ligne commençant par user_pref("mail.accountmanager.accounts",. Vous l’avez compris, les comptes listés ensuite sont vos comptes de messageries, avec le numéro correspondant à l’ordre dans lequel ils ont été créés. Il vous suffit de les réordonner comme bon vous semble, par exemple user_pref("mail.accountmanager.accounts", "account2,account3,account1,account4,account5");

Attention ! La variable située juste en dessous permettant de régler le compte par défaut doit être le premier compte de votre liste, dans notre exemple, vous devez aussi modifier user_pref("mail.accountmanager.defaultaccount", "account2");

Enregistrez et relancez Thunderbird, et voilà !

Comment ça marche, la fédération de diaspora* ?

English version below.

Pour rappel, on désigne par « fédération » l’échange des données entre les différentes instances de diaspora* (appelées pods). Il s’agit donc du protocole qui permet aux serveurs de communiquer entre eux.

Avec le travail en cours pour extraire le code s’occupant de la fédération du reste du code de diaspora (oui, ce code devrait devenir une gem à part et donc être utilisable par n’importe quel projet qui veut parler avec diaspora* !), il me semble qu’un petit article de vulgarisation sur la fédération n’est pas de trop. J’ai régulièrement des remarques sur différents points qui m’obligent à réexpliquer un peu comment tout ça marche, alors un joli article à la limite du technique mais compréhensible par tous, ça me semble la solution parfaite, je n’aurai plus qu’à donner ce petit lien… :D

Alors, comment les serveurs de diaspora* communiquent-ils, pour réussir à faire qu’être inscrit sur n’importe lequel d’entre eux permet (presque) la même chose que si tout le monde était sur le même serveur ? (comment ça, presque, je vous entends dire ? Oui, il y a quelques cas où vous n’aurez pas le même résultat après avoir effectué la même action quand vous êtes sur deux pods différents. Ce billet a justement comme but de vous expliquer pourquoi !) Lire la suite »

Et si nous n’avions plus besoin de nous déplacer ?

Titre un peu tape à l’œil, je vous l’accorde. Disons, « moins besoin » alors. Mais d’où me vient-il, ce titre ? Et bien, une fois n’est pas coutume, ce billet parlera plus d’économie et d’écologie que d’informatique, mais bon, comme on parle quand même mieux de ce qu’on connaît, l’IT y aura aussi sa place, ne vous inquiétez pas. Ce titre donc, il vient d’une idée simple, et pourtant, dont on entend trop peu parler dans « notre société de croissance » : celle de la diminution du besoin.

Imaginez une situation dans laquelle on peut classer les éléments qui la constituent en deux catégories, la catégorie « bien » et la catégorie « pas bien« . Le problème de tout un chacun dans cette situation est d’augmenter la proportion de « bien » par rapport à celle de « pas bien ». C’est un peu abstrait ? Bon, allons-y plus concrètement. Prenons par exemple la production d’électricité en France. On peut classer les moyens de produire de l’électricité en deux catégories : ceux qui nous semblent bien (par exemple, les énergies renouvelables), et ceux qui nous semblent « pas bien » (par exemple, les énergies fossiles, ou le nucléaire). Notez bien sûr que chacun est libre de définir ses propres critères, cela ne change absolument rien au raisonnement. On peut classer une énergie dans « pas bien » parce qu’elle est polluante, dangereuse, ou tout simplement parce qu’on pense qu’elle n’existera plus dans 20 ans car il n’y aura plus de combustible. Peu importe la raison de notre classement, ce qui est important, c’est que tous les moyens de productions soient rangés dans l’une ou l’autre des catégories.

Lire la suite »

Reprenez vos données en main

Je suis vraiment sur sidéré. Non pas après avoir lu cet article du Monde qui explique que le FBI a accès à toutes les données, ça, ça n’est pas une grande nouvelle, mais après avoir lu les réactions des gens.

« KEUWA! Des gens peuvent lire mes mails ?! Je quitte Yahoo! ».

Mais mec, tu t’attendais à quoi ?!

Déjà, cela prouve que tu n’as aucune idée de comment fonctionne le réseau que tu utilises. Tous les e-mails envoyés ne sont que des cartes postales, n’importe qui peut la lire en un instant. Ensuite, mais qu’est-ce que tu crois quand tu t’inscris chez une société américaine qui t’offre un service gratuit ?!. Ils font ça par plaisir ?

Je suis désespéré…

Bon allez, quand même, un petit récap ne fait jamais de mal… Allons-y !

Il y a deux problèmes concernant l’accessibilité (et la protection) des données sur le réseau Internet :

  1. Où sont-elles stockées
  2. Comment sont-elles accédées

Lire la suite »

Internet Explorer < 9 et HTML5

Un court billet pour vous faire part d’une astuce que j’ai découvert aujourd’hui et qui va immédiatement m’être indispensable.

Si vous avez un peu joué avec le langage du web, HTML, et notamment sa dernière version, la 5, vous vous êtes sans doute aperçu qu’Internet Explorer avant la version 9 ne connaissait pas les nouvelles balises (article, aside, footer, header, nav, section, time, toussa quoi). En fait, aucun ancien navigateur ne les connait, et c’est bien normal, puisque les navigateurs sont sortis avant la norme. Mais au contraire d’Opera, de Safari et de Firefox, qui, même s’ils ne connaissent pas les balises, les stylent correctement (c’est-à-dire leur applique correctement le CSS), Internet Explorer, lui, les ignore purement et simplement.
Lire la suite »