Comment prendre un peu de Python pour faire un Exporter Prometheus
Rédigé par dada / 20 juillet 2018 / 4 commentaires
Faire un Exporter Prometheus, c'était un défi qui traînait dans ma longue-liste-des-choses-à-faire depuis longtemps. J'ai enfin mis les mains dedans. C'est moins terrifiant qu'on le croit, à condition de vouloir faire des choses simples. Voici donc quelques lignes pour vous expliquer comment s'en sortir.
Du Python 3
Il est possible de faire des Exporters dans un nombre dingue de langages. Pour des questions de curiosité et d'envie, j'ai choisi de le faire en Python, version 3. En plus, Prometheus fournit une bibliothèque qui va bien.
Une API
Un Exporter est capable d'interroger, entre autre, des API. Pour l'exemple et parce ce que j'avais envie de mieux connaître mon instance Mastodon, c'est l'API de l'alternative à Twitter que vous allez croiser ci-dessous.
La logique globale
Un Exporter, pour faire très simple, c'est un bout de code coincé dans une boucle infinie.
Oui, très simple.
Il va récupérer de l'information et la transmettre à Prometheus, puis récupérer de l'information et la transmettre à Prometheus, puis récupérer de l'information...
Exemple
Ici, on va pondre un bout de code qui va aller récupérer le nombre de comptes que je follow sur Mastodon :
r = requests.get("https://diaspodon.fr/api/v1/accounts/1")
data = json.loads(r.content.decode())
metric = Metric('following_count', 'Number of following account', 'gauge')
metric.add_sample('following_count', value=data["following_count"], labels={})
yield metricCe qu'il faut comprendre :
- La variable r contient le retour de l'appel à l'API Mastodon.
- La variable data contient en utilisable le JSON contenu dans r.
- La variable metric contient les données exploitables par Prometheus.
C'est la ligne qui est vraiment cruciale :
metric.add_sample('following_count', value=data["following_count"], labels={})Les choses importantes :
- following_count sera le nom que vous pourrez retrouver dans Prometheus pour afficher la donnée
- value sera la valeur retournée quand vous appelez following_count
Lancer la boucle infinie
On va coincer ce bout de code dans une boucle :
class JsonCollector(object):
def __init__(self):
pass
def collect(self):
url = mastodon_host + 'api/v1/accounts/1'
r = requests.get(url)
data = json.loads(r.content.decode())
metric = Metric('following_count', 'Number of following account', 'gauge')
metric.add_sample('following_count', value=data["following_count"], labels={})
yield metric
if __name__ == "__main__":
start_http_server(9400)
REGISTRY.register(JsonCollector())
while True: time.sleep(1)
Et c'est tout quant à la création d'un Exporter ! Retrouvez le lien vers le code complet en fin de ce billet. Ou là. Pour plus de visibilité, j'ai volontairement caché les modules à inclure.
Comment valider que ça fonctionne ?
Un curl et tout va :
root@server ~ # curl localhost:9400
# HELP following_count Number of following account
# TYPE following_count gauge
following_count 552.0
Brancher l'exporter à Prometheus
Tout va se faire, comme d'habitude, dans le prometheus.yml.
- job_name: 'mastodon'
static_configs:
- targets: ['localhost:9400']
On ajoute le job, la target avec son port et on reload la bête.
Notez que j'ai utilisé le port 9400 dans mon exemple. C'est un choix personnel : vous pouvez le changer s'il est déjà utilisé par un de vos services.
Enfin, si tout s'est bien passé, vous devriez pouvoir appeler la variable following_count dans Prometheus !
Vous trouverez un snippet avec l'intégralité du code par ici.
Je retourne à mon code. Vous vous doutez bien qu'avez tout ça, il y a moyen de faire un bel Exporter complet pour Mastodon !
Des bisous,