KAZ/kaz-vagrant
2
0
Fork 0
Code Issues Pull Requests Projects Releases 1 Wiki Activity

develop-snster #2

Merged
francois.lesueur merged 11 commits from develop-snster into master 2023-03-06 17:06:57 +01:00
Conversation 0 Commits 11 Files Changed 15 +50 -198
3 changed files with 50 additions and 198 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files
Showing only changes of commit bed3b4490e - Show all commits

43
CACHING.md Normal file
View File

@ -0,0 +1,43 @@
# Utilisation d'un cache local
Au tout début de la construction de la VM, un proxy Squid et un proxy Dockerhub (docker-registry) sont installés au niveau de la VM. Ils font du cache et sont ensuite utilisé lors des apt-get du provisionning de la VM puis lors des constructions des conteneurs LXC et des dockers. Quelques téléchargements ne sont pas encore mis en cache (soit parce que certains téléchargements se font hors de ce proxy, soit par l'utilisation du HTTPS qui n'est pas (encore) intercepté pour faire ce cache), mais cela diminue déjà beaucoup le trafic réseau lors de la construction et lors des reconstructions partielles ensuite.
Il est possible de configurer ce proxy pour utiliser un proxy du réseau local à son tour. L'intérêt est d'avoir un cache persistant lors de la reconstruction de la VM, ou de pouvoir rediriger certaines requêtes (dépôts Debian ou Alpine) vers des miroirs locaux. Pour cela, il faut un fichier `files/customVM.sh`. Un fichier `files/customVM.sh.dist` est fourni en exemple : il suffit de le renommer en `customVM.sh`, puis de modifier les IP du proxy et du registry Docker upstreams dans les premières lignes. Il est évidemment possible de n'activer que l'une des 2 fonctionnalités (soit que le proxy http externe, soit que le docker registry externe) en commentant les lignes associées.
## Installation d'un proxy squid sur l'hôte
Pour installer un squid sur l'hôte :
* `apt install squid`
* Éditer `/etc/squid/squid.conf` :
* Décommenter la ligne `#http_access allow localnet` (ATTENTION ! Il faut bien décommenter cette ligne existante, et non l'ajouter à la fin, sa place dans le fichier de conf est importante)
* Ajouter à la fin :
```
cache_dir aufs /var/spool/squid 5000 14 256
maximum_object_size 4000 MB
http_port 3142
```
## Installation d'un docker-registry sur l'hôte
Pour installer un docker-registry sur l'hôte :
* `apt install docker-registry`
* Éditer `/etc/docker/registry/config.yml` :
* Enlever la section `auth`
* Ajouter à la fin :
```yaml
proxy:
remoteurl: https://registry-1.docker.io
```
## Configurer une IP pérenne
Si vous utilisez un ordinateur portable, votre adresse IP changera sûrement au grè de vos connexions à l'Internet. Dans ce cas il est préférable d'utiliser une adresse stable pour designer votre mandataire. Après vous êtes connecté, il faudra ajouter une adresse à la carte réseaux qui est active.
Dans l'exemple suivant, nous imaginons que la connexion utilise le wifi `wlo1̀`, que nous utilisons une classe privée locale `192.168.128.0/24` et que notre machine utilisera la première adresse.
```bash
/sbin/ifconfig
/sbin/ifconfig wlo1:0 192.168.128.1/24
/sbin/ifconfig wlo1:0 up
```

171
DETAILS.md
View File

@ -1,171 +0,0 @@
# kaz-vagrant
(ATTENTION, NON À JOUR POUR SNSTER)
[Kaz](https://kaz.bzh/) est un CHATONS du Morbihan. Nous proposons ici un moyen de le répliquer dans d'autres lieux. Il y a des éléments de configuration à définir avant d'initialiser ce simulateur.
Le principe est de faire fonctionner un simulateur de notre CHATONS dans une VirtualBox pour mettre au point nos différents services.
Nous utilisons :
* Vagrant pour automatiser la création de la Machine Virtuelle
* VirtualBox pour simuler notre serveur
* Docker pour chaque service de notre serveur
## Pré-requis
Dans la suite, on imagine que vous disposer d'une machine sous Linux (par exemple dernière version de [Debian](https://fr.wikipedia.org/wiki/Debian))
Vous devez disposer d'un minimum de paquets :
```bash
wget -q https://www.virtualbox.org/download/oracle_vbox_2016.asc -O- | apt-key add -
wget -q https://www.virtualbox.org/download/oracle_vbox.asc -O- | apt-key add -
apt install software-properties-common
add-apt-repository "deb [arch=amd64] http://download.virtualbox.org/virtualbox/debian $(lsb_release -cs) contrib"
apt update
apt install git vagrant virtualbox-6.1 linux-image
vagrant plugin install vagrant-disksize
```
Lancez VirtualBox et vérifiez les mises à jours.
Par la suite, si vous ne disposez pas d'un bon débit, il est conseiller d'installer `approx` et `squid` pour ne pas recharger systématiquement tous les paquets depuis l'internet.
pour `approx`, vous pouvez choisir une partition de stockage `/mnt/big/approx`
```bash
apt-get install approx
netstat -ant | grep 9999
mkdir /mnt/big/approx
chown -R approx : /mnt/big/approx
rmdir /var/cache/approx
ln -s /mnt/big/approx/ /var/cache/
cd /etc/apt/
grep -E "^[^#]" sources.list | cut -d " " -f2 | sort -u >> /etc/approx/approx.conf
```
Pour `squid`, vous pouvez choisir une partition de stockage `/mnt/big/squid`
```bash
apt-get install squid
emacs /etc/squid/squid.conf
mkdir /mnt/big/squid
chown -R proxy: /mnt/big/squid
rmdir /var/spool/squid/
ln -s /mnt/big/squid/ /var/spool/squid/
/etc/init.d/squid restart
```
Si vous utilisez un ordinateur portable, votre adresse IP changera sûrement au grè de vos connexions à l'Internet. Dans ce cas il est préférable d'utiliser une adresse stable pour designer votre mandataire. Après vous êtes connecté, il faudra ajouter une adresse à la carte réseaux qui est active.
Dans l'exemple suivant, nous imaginons que la connexion utilise le wifi `wlo1̀ que nous utilisons une classe privée locale `192.168.128.0/25̀ et que notre machine utilisera la première adresse.
```bash
/sbin/ifconfig
/sbin/ifconfig wlo1:0 192.168.128.1/25
/sbin/ifconfig wlo1:0 up
/sbin/ifconfig
```
## Installation
* Télécharger le dépôt kaz-vagrant ou utilisez la commande :
```bash
git clone https://git.kaz.bzh/KAZ/kaz-vagrant.git # pour essayer
git clone git+ssh://git@git.kaz.bzh:2202/KAZ/kaz-vagrant.git # pour contribuer
cd kaz-vagrant/
```
* Personalisez votre simulateur avec la commande (au besoin ajustez la mémoire et les cpus utilisés dans Vagrantfile) :
```bash
vagrant plugin install vagrant-disksize
init.sh
```
* Personnalisez le miroir des paquets Debian si vous en avez un (sinon ignorez cette étape).
Pour cela créez un fichier qui défini des variables d'environnements qui pointent vers l'hôte et le port (dans l'exemple suivant on prend (machine : **__mirror-host__**, port : **__mirror-port__**) dans un fichier `files/.apt-mirror-config` comme ci-dessous
```
APT_MIRROR_DEBIAN=mirror-host:mirror-port
APT_MIRROR_SECURITY=mirror-host:mirror-port
```
VirtualBox utilise un réseau privé 172.17.X.X
Pour pouvoir désigner dans conflit votre PC comme mirror, vous pouvez déclarer un autre réseau (par exemple 172.19.X.X)
```bash
/sbin/ifconfig (eno2) add 172.19.1.1 netmask 255.255.255.0
```
Dans ce cas, il faut refaire le init.sh pour mettre à jour l'adresse IP du serveur mirroir.
* Pour créer tout l'univers Kaz il faut se placer dans le répertoire et lancer la commande :
```bash
vagrant up
```
Il faudra répondre "docker0" à la question "Which interface should the network bridge to?"
Il est possible d'interrompre la création à la coquille vide (sans les services) pour des question de mise au point avec la commande :
```bash
NOKAZ="true" vagrant up
```
Il se peut que le répertoire `/vagrant` ne soit pas monté. Dans ce cas. Quittez la VM et relancez `vagrant up`.
Il est possible de choisir de tester une autres branche de développement du dépôt de Kaz.
```bash
KAZBRANCH="develop" vagrant up
```
* Une fois la commande de création de l'univers, il faut patienter...
* Après il faut patienter encore un peu si on a pas la fibre ...
La fenêtre de virtualbox va se lancer et l'installation va se poursuivre
La progression est visible dans la fenêtre où la commande vagrant est lancée.
## Utilisation
Les utilisateurs créés sont
* debian/debian
* root/root.
Si vous avec laissé la création des dockers, il faut bien attendre la fermeture automatique de la fenêtre et l'apparition de l'écran de connexion (on vous a dit que c'était long).
Vous pouvez alors démarrer le client de messagerie clawsmail dans lequel 4 comptes ont été paramétrés (contact1@kaz.local, contact2@kaz.local, contact3@kaz.local, contact4@kaz.local)
Il y a un aperçu de l'état des services avec l'url https://kaz.local/status/allServices.html
![status](/doc/images/allServices.jpg)
Les erreurs 502 correspondent à des fonctions en cours de développement. Les message "Can't open this page" correspond au fait que le services refuse pour des raison de sécurité de de fonctionner embarqué dans une page.
Vous pouvez également démarrer firefox avec les URL suivantes:
* https://www.kaz.local
* https://tableur.kaz.local
* https://pad.kaz.local
* https://depot.kaz.local
* https://agora.kaz.local/login (compte contact1@kaz.local créé, mot de passe toto)
* https://cloud.kaz.local/login (compte contact1@kaz.local créé, mot de passe totototototototo1234 )
* https://sondage.kaz.local
Il vous faudra accepter les alertes de sécurité pour certificat absent (web et messagerie)
## Echanges avec la machine virtuelle
En cas de nouvelle re-création, la clef privée sera mise à jour. Il faudra effacer l'ancienne pour ne pas avoir le message :
```
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
```
Pour cela il faut supprimer l'entrée des hôtes connus :
```bash
ssh-keygen -f ~/.ssh/known_hosts -R "[127.0.0.1]:2222"
```
Pour copier des fichiers vers la machine virtuelle :
```bash
rsync -rlptDEHAX --no-o -e "ssh -p 2222 -i ~/git/kaz-vagrant/.vagrant/machines/default/virtualbox/private_key" src vagrant@127.0.0.1:/dst
```

34
README.md
View File

@ -23,7 +23,7 @@ Vous avez besoin de [vagrant](https://www.vagrantup.com/), [VirtualBox](https://
## Installation ## Installation
* Télécharger le dépôt kaz-vagrant, branche develop-snster, ou utilisez la commande git : * Télécharger le dépôt kaz-vagrant ou utilisez la commande git :
```bash ```bash
git clone https://git.kaz.bzh/KAZ/kaz-vagrant.git # pour essayer git clone https://git.kaz.bzh/KAZ/kaz-vagrant.git # pour essayer
git clone git+ssh://git@git.kaz.bzh:2202/KAZ/kaz-vagrant.git # pour contribuer git clone git+ssh://git@git.kaz.bzh:2202/KAZ/kaz-vagrant.git # pour contribuer
@ -46,9 +46,7 @@ Les utilisateurs créés sont
* debian/debian * debian/debian
* root/root. * root/root.
Si vous avec laissé la création de Kaz, il faut bien attendre la fermeture automatique de la fenêtre et l'apparition de l'écran de connexion (on vous a dit que c'était long). Lors du démarrage de la VM, il faut lancer SNSTER :
Lors du démarrage de la VM, il faut lancer SNSTER et éventuellement les conteneurs :
```bash ```bash
cd /root/snster-kaz cd /root/snster-kaz
snster start snster start
@ -95,37 +93,19 @@ Il vous faudra accepter les éventuelles alertes de sécurité pour certificat a
## Mise au point ## Mise au point
Il est possible d'interrompre la création à la coquille vide (juste la VM sans les services KAZ) pour des question de mise au point avec la commande : Pour réinstaller Kaz sur kaz-prod (avec suppression de /kaz, des volumes dockers et réinstallation complète), depuis la VM :
```bash ```bash
NOKAZ="true" vagrant up snster attach kaz-prod -x "/root/kaz.sh"
``` ```
Dans ce cas, il faudra ensuite lancer dans la VM : Pour détruire la VM et recommencer, depuis l'hôte :
```bash
KAZGUARD="true" /root/vm-install-kaz.sh
```
Pour détruire la VM et recommencer :
```bash ```bash
vagrant destroy vagrant destroy
vagrant up
``` ```
## Accélération de la construction avec un proxy cache local ## Accélération de la construction avec un proxy cache local
Au tout début de la construction de la VM, un proxy Squid et un proxy Dockerhub (docker-registry) sont installés au niveau de la VM. Ils font du cache et sont ensuite utilisé lors des apt-get du provisionning de la VM puis lors des constructions des conteneurs LXC et des dockers. Quelques téléchargements ne sont pas encore mis en cache (soit parce que certains téléchargements se font hors de ce proxy, soit par l'utilisation du HTTPS qui n'est pas (encore) intercepté pour faire ce cache), mais cela diminue déjà beaucoup le trafic réseau lors de la construction et lors des reconstructions partielles ensuite. Au tout début de la construction de la VM, un proxy Squid et un proxy Dockerhub (docker-registry) sont installés au niveau de la VM. Ils font du cache et sont ensuite utilisé lors des apt-get du provisionning de la VM puis lors des constructions des conteneurs LXC et des dockers. Quelques téléchargements ne sont pas encore mis en cache (soit parce que certains téléchargements se font hors de ce proxy, soit par l'utilisation du HTTPS qui n'est pas (encore) intercepté pour faire ce cache), mais cela diminue déjà beaucoup le trafic réseau lors de la construction et lors des reconstructions partielles ensuite.
Il est possible de configurer ce proxy pour utiliser un proxy du réseau local à son tour. L'intérêt est d'avoir un cache persistant lors de la reconstruction de la VM, ou de pouvoir rediriger certaines requêtes (dépôts Debian ou Alpine) vers des miroirs locaux. Pour cela, il faut un fichier `files/customVM.sh`. Un fichier `files/customVM.sh.dist` est fourni en exemple : il suffit de le renommer en `customVM.sh`, puis de modifier les IP du proxy et du registry Docker upstreams dans les premières lignes. Il est évidemment possible de n'activer que l'une des 2 fonctionnalités (soit que le proxy http externe, soit que le docker registry externe) en commentant les lignes associées. Il est possible de configurer ce proxy pour utiliser un proxy du réseau local à son tour. L'intérêt est d'avoir un cache persistant lors de la reconstruction de la VM, ou de pouvoir rediriger certaines requêtes (dépôts Debian ou Alpine) vers des miroirs locaux. L'installation et la configuration sont décrites dans le fichier [CACHING.md](CACHING.md)
Pour installer un Squid sur l'hôte : TODO
Pour installer un docker-registry sur l'hôte :
* `apt install docker-registry`
* Éditer `/etc/docker/registry/config.yml` :
* Enlever la section `auth`
* Ajouter `proxy:
remoteurl: https://registry-1.docker.io`
## Installation avancée
L'installation avancée, notamment pour utiliser d'autres miroirs ou des caches APT, est décrite dans le fichier [DETAILS.md](DETAILS.md).