Avec les amis du PUC Roller, nous avons décidé de quitter ce dernier pour créer un nouveau club : I Skate Paris

Vous pouvez consulter notre projet sur ce lien

Grace à ce nouveau club, nous allons pouvoir enfin nous lancer librement dans des projets roller intéressants et continuer les 6h de Paris.

—

Yesterday, after a power outage, the SSD inside my home server fried… As usual, I realised how many things were not backed up after the fact… That’s ironic when you know that one of the purpose of this machine was backuping my stuff !

The roles of the servers are :

• Internet Gateway
• Wireless Access Point
• Storage server
• Media player
• Web server (for websites without critical importance, like tests sites, etc)
• Torrents

In this article (and the next ones), I’ll describe the setup of the new server.

Hardware :

The server is a PC stuffed with many hard drives, 2 ethernet card and a wifi card, hooked up to a TV.

The system is a standard Arch Linux on a SSD. The data hard drives are configured as a BTRFS volume in RAID1.

One NIC is plugged into my ISP fibre adapter, the other one is plugged into my local network.

Network configuration

I used systemd-networkd to configure my network,  hostapd for the wireless access point and dnsmasq for the dhcp/dns.

pacman -S bridge-utils hostapd openssh fail2ban dnsmasq

First, renaming the interfaces :

/etc/systemd/network/10-lan.link

[Match]
MACAddress=74:d4:35:e8:b3:0e

[Link]
Name=lan

/etc/systemd/network/10-wan.link

[Match]
MACAddress=74:d4:35:e8:b3:0c

[Link]
Name=wan

/etc/systemd/network/10-wlan0.link

[Match]
MACAddress=80:86:f2:5f:a9:a1

[Link]
Name=wlan0

Then I’ve created a new bridge interface. This interface will connect the wired and wireless lan into one network.

/etc/systemd/network/20-br0.netdev

[NetDev]
Name=br0
Kind=bridge

I’ve added the wired lan network to the bridge. The wireless lan network will be added by hostapd.

/etc/systemd/network/20-lan.network

[Match]
Name=lan

[Network]
Bridge=br0

I ‘ve configured the lan network to a staic IP

/etc/systemd/network/30-br0.network

[Match]
Name=br0

[Network]
Address=192.168.42.254/24
DNS=80.80.80.80
#DNS=8.8.8.8

Then I’ve setup the wan network as a DHCP. My internet provider (SFR) require a vendor class starting by neufbox*. I also added IPForward=yes (this used to be done through sysctl or /proc). This command just activate the routing functionality inside the linux kernel. It could be added to any interface.

/etc/systemd/network/30-wan.network

[Match]
Name=wan

[Network]
#IPMasquerade=yes
IPForward=yes
DHCP=yes

[DHCP]
VendorClassIdentifier=neufbox-BypassedNeufBox-DirectConnectionToFTTH-puyb@puyb.net

Then I’ve implement my firewall rules :

/etc/iptables/iptables.rules

# Generated by iptables-save v1.6.1 on Sat Feb 10 18:41:10 2018
*filter
:INPUT DROP [0:0]
:FORWARD ACCEPT [506:47311]
:OUTPUT ACCEPT [27428:4233911]
:TCP - [0:0]
:UDP - [0:0]
-A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m conntrack --ctstate INVALID -j DROP
-A INPUT -p icmp -m icmp --icmp-type 8 -m conntrack --ctstate NEW -j ACCEPT
-A INPUT -p udp -m conntrack --ctstate NEW -j UDP
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK SYN -m conntrack --ctstate NEW -j TCP
-A INPUT -p udp -j REJECT --reject-with icmp-port-unreachable
-A INPUT -p tcp -j REJECT --reject-with tcp-reset
-A INPUT -j REJECT --reject-with icmp-proto-unreachable
-A FORWARD -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A TCP -p tcp -m tcp --dport 22 -j ACCEPT
-A TCP -s 192.168.42.0/24 -p tcp -j ACCEPT
-A UDP -s 192.168.42.0/24 -p udp -j ACCEPT
-A UDP -i br0 -p udp -m udp --dport 67 -j ACCEPT
COMMIT
# Completed on Sat Feb 10 18:41:10 2018
# Generated by iptables-save v1.6.1 on Sat Feb 10 18:41:10 2018
*nat
:PREROUTING ACCEPT [12773:981683]
:INPUT ACCEPT [507:45818]
:OUTPUT ACCEPT [7126:640794]
:POSTROUTING ACCEPT [7886:703974]
-A POSTROUTING -s 192.168.42.0/24 -o wan -j MASQUERADE
COMMIT
# Completed on Sat Feb 10 18:41:10 2018

Wireless access point:

/etc/hostapd/hostapd.conf

interface=wlan0
bridge=br0

ssid=Puyb.net
driver=nl80211
country_code=FR

hw_mode=g
channel=7
max_num_sta=50
wme_enabled=1
ieee80211n=1
ht_capab=[HT40+][SHORT-GI-40][DSSS_CCK-40]

wpa=2
auth_algs=1
rsn_pairwise=CCMP
wpa_key_mgmt=WPA-PSK
wpa_passphrase=replaceme

logger_stdout=-1
logger_stdout_level=2

Then the DHCP server / DNS cache:

/etc/dnsmasq.conf

interface=br0
dhcp-range=192.168.42.1,192.168.42.150,12h

Then I’ve enabled all service:

systemctl enable --now systemd-networkd systemd-resolved
systemctl enable --now iptables
systemctl enable --now sshd fail2ban
systemctl enable --now dnsmasq
systemctl enable --now hostapd

That’s it for the network part. stay tuned for the rest of the config !

Ce matin, mon router ne pouvait plus se connecter à Internet. Il se trouve que je suis connecté à la fibre par Orange. Je n’utilise pas la livebox.
Le réseau Orange est assez particulier et semble être un assemblage de technologies héritées du passé. On retrouve entre autre des VLAN avec des numéros qui rappellent les circuit VPI/VCI du réseau ATM utilisé en ADSL et du PPPoE, lui aussi hérité de l’ADSL (qui lui l’a hérité des connections RTC)…  Bref, à se demander si derrière le réseau fibre d’orange, il n’y a pas encore un tas de serveur minitel ;-).

Bref, Orange essaye de se moderniser (passage à l’IPv6, je présume), et passe au DHCP. Il ne se débarrasse pas des VLAN, et ne fait pas ça de façon a ce que ce soit simple, mais bon, c’est déjà un mieux. Et c’est pourquoi mon accès internet a cessé de fonctionner correctement ce matin.

En gros, pour se connecter, il faut maintenant passer par le VLAN 832, puis obtenir une IP grâce au DHCP, mais en envoyant des paramètres supplémentaires.
J’ai trouvé ces informations sur le forum de lafibre.info il y a quelques temps. Dans mon réseau, la fibre est branchée via l’adaptateur PON sur un switch capable de gérer les VLAN. Je l’ai donc configuré pour detaguer le VLAN 832 sur le port eth1 de mon routeur, puis j’ai configuré dhclient comme indiqué sur le forum. J’ai aussi changer l’interface utilisée pour la NAT dans iptables de ppp0 à eth1.

/etc/dhclient.conf

send vendor-class-identifier = "sagem";
option userclass code 77 = string;
send userclass 2b:46:53:56:44:53:4c:5f:6c:69:76:65:62:6f:78:2e:49:6e:74:65:72:6e:65:74:2e:73:6f:66:74:61:74:68:6f:6d:65:2e:4c:69:76:65:62:6f:78:33;
option authsend code 90 = string;
send authsend 00:00:00:00:00:00:00:00:00:00:00:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx;

Les xx sont à remplacer par le compte client fti/xxxxxx encodé en héxa.

Puis le NAT (/etc/iptables/iptables.rules)

< -A POSTROUTING -o eth1 -j MASQUERADE
---
> -A POSTROUTING -o ppp0 -j MASQUERADE

Et pour activer dhclient sur eth1 :

systemctl enable dhclient@eth1
systemctl start dhclient@eth1

Et hop, c’est réglé

Ma prochaine étape va être de revoir ma config qui est basée sur des scripts fait main pour essayer de migrer sur networkd. Peut être aussi essayer d’en profiter pour agréger mes 2 ports ethernet et faire le detaging du VLAN sous linux plutôt que dans le switch.

Il faudrait aussi que je fasse des articles pour décrire ma config complète (ça peut être utile si je dois la refaire un jour).

DevDocs est un site qui regroupe toutes les docs dont on a toujours besoin… DOM, JS, Python, Django, Git, etc

Accessible en offline, integrable en tant que search provider, etc… Que demander de plus ?

http://devdocs.io/.

Olimex OLIMEXINO-32U4

I just bought an Arduino. Or to be more specific, an enhanced clone of the Arduino Leonardo : the Olimex OLIMEXINO-32U4. This board features, unlike the original Leonardo board, a better power that allows it to run on 5v, 3.3v, or on li-ion battery. It also sports two leds, a button and an extension port.

I plan to use it with a bluetooth module that runs only on 3.3v, so the ability to power this arduino on 3.3v will ease it !

For my start project, I want to try to use an old Futaba GP1006C02 VFD graphic display. It’s a mid 90’s part that I collected in a garbage and that was lying on a shelf since. I wondered if I could use it to make a status display for my home server.

Hardware:

My workbench

The VFD is addressed like a RAM. So I had to use a lot of I/O to handle it. 13 address lines, 8 data bits and 4 control lines. Problem, I only have 23 I/O available on the arduino (20 on the headers and 3 more on the extension port or the ICSP header). The ATMega 32U4 normally provides 26 I/O but two are used by the arduino firmware to drive the USB RX/TX leds and the last one is used by the button. I don’t want to modify the Arduino board and software to use them so I’ll had to find a way to wire everything.

First obvious trick, the /CS and /MERQ signals can be driven by the same I/O according the VFD datasheet. Second trick, I don’t need read access to the display memory, so I can wire /RD to 5v. But I still need 2 I/O. So I decide to use a binary counter to generate the address. I find in a drawer a good old 4029 4 bits binary/décimal counter/decounter. With just a reset and pulse signals, I can drive 4 address bits.

Now, I want an easy way to wire everything. I don’t want to make a custom PCB and just use a stripboard. To simplify wiring, I decided to not try to wire everything in an ordered way. The software will have to convert addresses and datas to the right ports and I/O. But I found a way to not shuffle things too much. I managed to stick the datas to the 4 higher bits of ports B and F, and the address to the 7 available bits of port D and the 4 bits of the counter. I decided to put the 4 bits of the counter to A3 through A7. This can seem odd, but when you look at the way the addresses map to pixels in the VFD datasheet, mapping at this address allow me to push 16 continuous columns of 8 pixels. The display will be sliced in 8 rows of 16 blocks of 16×8 pixels.

The control bits (/CS, /WR, CP and PL) are wired to nearest I/O available. Thank to the use of the counter, I have 2 I/O available. Maybe I could wire the /RD signal after all 😉

Not too messy for so many I/O!

Testing the counter !

Arduino software :

There’s some small challenges with the software. The first one is to map a data byte to the 4 higher bits of the port B and F. Odd bits go to port F and pair bits go to port B.

There maybe an optimized way to do it, but the only way I find was to do it bit by bit. Mask the bit, shift it to it’s position, and repeat… Performance is not really an issue actually, so I’ll stick with this…

The second challenge is to convert row and column to a valid address on port B. I decided to use two maps for the 8 rows and 16 columns.

The rest of the code is easy to understand, I won’t detail it. It allows me to send bitmaps and controls commands over USB.

The software takes commands over USB serial link. The first byte is the command byte. If the higher bit is 0, then bits 6 to 4 encode the row, and bits 3 to 0 encode the column. The control byte is then followed by 16 data bytes that correspond to the 16 columns of the addressed block.

If the first bit is 0, then the commands are :

The test pattern (command 0xd0)

Computer software:

I wrote a small python script that sends an hard coded image to the VFD :

Conclusion:

The python script send this image to the VFD !

I’ve had fun playing with this, but unfortunately I think I won’t use this VFD as a side display for my home server. First reason is that it is really greedy. It use ~2A @ 5v, that’s 10W. I can use a small color LCD that will be nicer and more power friendly ! And the second reason is that it make high pitched noise.

J’ai participé au CodinGame de Janvier. Contrairement à ceux de Mars, le niveau des exercices était vraiment sympa… Voici mes résultats, je m’en suis mieux sorti qu’au mois de mars avec une 29e place, 79% de réussite en 2h30 (sur 5h).

Je vais parler du 3e exercice. L’objectif était d’analyser des messages écrits en morse, mais sans séparateur entre les mots. Il fallait trouver le nombre de combinaisons de mots possible qui pourrait donner ce message. Le programme prenant en entrée le message, ainsi que la liste des mots possibles.

Première tentative

J’ai décidé de procéder récursivement. Je commence déjà par convertir tous les mots de mon dictionnaires en morse.

Ma fonction récursive commence par comparer le début de ma chaine avec tous les mots. Si une occurrence est trouvée, je rappel la fonction avec le reste de la chaine. La fonction retourne le nombre de possibilités trouvées. Ma condition de fin de récursivité est quand la chaine à traduire est vide.

Voici le code :

Première optimisation

Le problème avec les fonctions récursives, c’est souvent le temps d’exécution. Ici, c’était juste désastreux. La première optimisation que je vois, c’est dans ma boucle qui test les mots. J’ai décidé d’essayer de ne couper ma chaine qu’une seule fois pour chaque longueur de mot. Puis d’essayer de trouver cette chaine dans un dictionnaire. J’ai parier sur le fait que la recherche dans un dictionnaire est très optimisé.

Je change donc ma routine de génération du dictionnaire :

Et ma routine de recherche :

Ainsi, dans la boucle qui est dans la fonction de recherche, je passe d’une boucle qui fait la longueur des mots de mon dictionnaire, à une boucle dont la longueur est égale au mot le plus long de mon dictionnaire. Sur un gros dictionnaire, ça peut faire une sacré économie. Mais ce n’est pas encore vraiment ça. En particulier le test 4 met une éternité… Comme j’en avais un peu marre, c’est le code que j’ai soumis au bout de 52 minutes.

Le bug

Mais je me suis planté. J’avais introduit un bug en utilisant un dictionnaire. Le bug est pourtant évident, c’est même le sujet de l’épreuve. Une suite de . et – en morse peut correspondre à plusieurs suites de lettres différentes. Et en créant mon dictionnaire, comme j’utilise le code morse comme clé, si plusieurs mots dans le dictionnaire donne la même clé, je n’enregistre que le dernier de ces mots. J’oublie donc des mots, et donc, des solutions.

Pour corriger ça, je décide donc de stocker le nombre de mots possibles pour chaque clé.

Le bug est corrigé, mais l’exécution est toujours terriblement lente !

Dernière optimisation

Il y a une optimisation évidente. On appel _try sur le reste de la chaine. Si par hasard, en trouvant un autre début de mot, on se retrouve avec la même fin de chaine, il n’y a aucun intérêt à recalculer toute la chaine. Vous l’avez compris, je parle ici de faire du cache !

Voici mon implémentation :

Et voilà ! Avec cette petite optimisation, j’arrive à exécuter le test 4 en moins d’une demi seconde. Contrat rempli, 100% des tests passent !

Hier, j’ai participé au concours CodinGame de mars. J’ai trouvé les exercices très simples par rapport à la version précédente. Cette fois, pas besoin de se prendre la tête pour trouver comment faire l’algorithme, pas besoin de se demander comment diminuer la complexité de ma récursion pour réussir à passer dans les critères de temps ou de mémoire. Ici, en lisant les premières lignes d’énoncé, je voyait déjà le code dans ma tête… Un peu décevant. Mais bon, vous allez voir que ça ne m’a pas empêché de me planter ;-).

Vous pouvez consulter les énoncés et mon code ici

Exercice 1

Le premier exercices est très simple, il faut calculer une suite.

Une ligne est donc composée des couples comportant le décompte des nombres similaires consécutifs et le nombre en question. Le programme, doit calculer la ligne N quand on lui donne la première ligne R et N.

J’ai décidé de ne pas me prendre la tête et de calculer séquentiellement toutes les itérations de la suite pour arriver à la ligne demandée. Il doit surement y avoir un moyen de déduire la ligne directement sans faire toutes les autres, mais bon vu les contraintes très larges et les plages de valeurs proposées, ça ne valait pas le coup. Voici mon code :

Mon code à passé tous les tests avec succès. J’ai mis 16 minutes pour l’écrire.

Exercice 2

Pour l’exercice suivant, le programme doit prendre en entré un fichier structuré mais non formaté et le formater.

En lisant l’énoncé, on pense tout de suite qu’il faut écrire un parser. Mais en regardant de plus près, comme on veut juste formater, on peut simplement imprimer le code formaté au fur et à mesure que l’on avance dans la lecture du fichier, sans devoir construire une représentation du fichier complète en mémoire. Je suis donc parti sur l’écriture d’une petite machine à états.

Après quelques petits tests, j’ai soumis mon code au bout de 52 minutes. Malheureusement, j’ai fait une petite erreur. Je n’ai pas testé le cas où j’ai une CLE_VALEUR composée avec un true, false ou null. Dans ce cas, j’écrase la variable statement au lieu de concaténer… En gros il manque un + devant les = des lignes 50, 53 et 56 ! Du coup, mon code rate deux tests.

J’obtiens donc 95% de réussite en 1h08, ce qui me classe en 95e place… Si je n’avais pas fait cette étourderie, j’aurai été 8e… C’est con ! 😉

Bon, dès que j’ai retrouvé mes codes de ma participation au coding game de janvier, je fais faire un petit article. Là, les exercices étaient beaucoup plus intéressant !

Il y a quelques temps, Randall Munroe a publié sur sur webcomic, XKCD, un dessin sur des algorithmes de tri délirants… En survolant l’image avec la souris, il parle d’un autre algorithme : « stacksort ». Il est assez fun, c’est une fonction qui va chercher un algorithme de tri au hasard sur stackexchange à chaque itération, puis l’exécute et retourne le resultat…

Et bien, comme d’habitude avec XKCD, il y a quelqu’un pour mettre en pratique cette idée délirante :

http://gkoberger.github.com/stacksort/

Essayez le, mais sachez que cela va chercher et exécuter un bout de code au hasard sur le net… Même si le javascript de votre navigateur est dans un bac à sable, ce n’est peut être pas une bonne idée 😉

Google Reader va fermer ! Depuis le temps que je voulais le faire, j’ai donc basculé sur NewsPipe.

C’est un client RSS qui envoi des mails. Comme ça, je règle le problème de la visualisation multi postes / clients, il suffit d’avoir de l’IMAP ou un webmail.

Il offre des possibilité intéressante comme :

• pouvoir faire des mails de résumé pour certain flux (un mail par jour),
• de télécharger et joindre les images dans le mail (pour une vrai lecture offline),
• de remplacer le contenu de l’élément par une copie de la page web pointé (utile pour les flux qui ne contiennent qu’un résumé),
• et le tout est simplement configurable avec un fichier OPML comme celui que j’ai récupéré sur Google Takeout ,
• de filtrer les contenus avec des regex.

Il est écrit en python, ce qui m’a permit de facilement corriger un bug (les images avec des accents dans les URL n’était pas téléchargé) et ajouté une fonctionnalité permettant de ne prendre qu’une partie du HTML en utilisant un sélecteur CSS. Pour cela, j’ai utiliser l’excellente bibliothèque BeautifulSoup. J’ai soumis les deux patch à l’auteur de NewsPipe, mais les voici en téléchargement : newspipe-1.1.9-selector.diff,  newspipe-1.1.9-bug_uri.diff

Il suffit de renseigner le newspipe.py avec le nom du fichier OPML et d’y ajouter le mail de destination. Pour ne pas poluer mon compte mail principal, j’ai créer un compte pour l’occasion. Enfin, il suffit de lancer newspipe.py. Pour cela j’ai créer l’unité suivante pour le lancer avec systemd : /etc/systemd/system/newspipe.service

Voilà maintenant, j’ai un système auto-hébergé, avec plus de fonctionnalités que Google Reader. Elle est pas belle la vie ?;-)

While reading the Samba ArchWiki page, I discovered that samba now include a web admin tool (SWAT). The ArchWiki propose to use xinet to start it… I remembered that systemd provide a socket management solution that can replace xinet (or inet)…

The mechanism behind xinet is that it’s configured to listen on a socket, and when a connection is received to the socket, it launch a program and bind its input and output to the socket stream…

To configure swat with systemd, you just have to create two new unit in /etc/systemd/system.
swat.socket

swat@.service

Mind the @ at the end of the service unit… It tells systemd that the unit is started by the socket…

You can start the socket (and enable it, if you want this to be persistent).

Then go to http://localhost:901/ and enjoy 😉

Tomorrow, I’ll try to submit a patch to the samba arch package maintainer…