DGNum/infrastructure
10
5
Fork 3
Code Issues 33 Pull requests 28 Projects 1 Releases Packages Activity Actions

meta rework #230

Closed
mdebray wants to merge 3 commits from meta_rework into main
pull from: meta_rework
merge into: DGNum:main
Conversation 11 Commits 3 Files changed 45 +952 -848
mdebray commented 2025-01-09 17:53:04 +01:00
Owner
Copy link

Plusieurs refactorisations:

  • Les clefs sont dans meta mnt
  • keys/defaults.nix a été drastiquement simplifié pour ne servir que pour les secrets.nix (il faudrait peut-être séparer le module nixos du fichier secrets que mange agenix pour se séparer de l'instanciation de meta dans keys.nix)
  • on utilise l'overlay de nix-pkgs mnt pour une intégration plus smooth
  • Le changement le plus opinionated selon moi: meta maintenant est un module (sauf le dns et la liste des versions nixpkgs supportés)
  • J'ai fix agenix pour le rekeying au passage
  • La partie patch des sources et import de la lib se fait dorénavant dans sources.nix
Plusieurs refactorisations: - [x] Les clefs sont dans meta mnt - [x] `keys/defaults.nix` a été drastiquement simplifié pour ne servir que pour les `secrets.nix` (il faudrait peut-être séparer le module nixos du fichier secrets que mange agenix pour se séparer de l'instanciation de meta dans keys.nix) - [x] on utilise l'overlay de nix-pkgs mnt pour une intégration plus smooth - [x] Le changement le plus opinionated selon moi: `meta` maintenant est un module (sauf le dns et la liste des versions nixpkgs supportés) - [x] J'ai fix agenix pour le rekeying au passage - [x] La partie patch des sources et import de la lib se fait dorénavant dans sources.nix
mdebray commented 2025-01-09 22:20:05 +01:00
Author
Owner
Copy link

Evaluation de la performance

Output de time { colmena build --on compute01,storage01,web01,web02,web03,tower01,geo01,geo02 > /dev/null 2>&1; } pour chaque commit (en utilisant le shell de ce commit) :

commit e78bbe966d50a5c4dd4cd62bc426aa0676c55aaa
real    1m6.746s
user    0m46.150s
sys     0m8.564s

commit adb19213339e4c89fb3dabd222ae03b6ba4e201e
real    1m12.647s
user    0m51.524s
sys     0m8.805s

commit b1d7c7d1c7f070f8351714cabe2acd9c1cde476f
real    1m8.769s
user    0m47.892s
sys     0m8.740s

commit a57d96c8f58a52a494c61262f0f5e0d83be1d754
real    1m10.571s
user    0m49.526s
sys     0m8.681s

commit 83a76f9d12b5df14bf477c9840fe133283272a57
real    1m9.366s
user    0m48.215s
sys     0m8.881s

Sur un run précédent on observe de la variabilité de l'ordre de qq secondes.

Conclusion: Pas de changements drastique en terme de la perf pour l'eval

# Evaluation de la performance Output de `time { colmena build --on compute01,storage01,web01,web02,web03,tower01,geo01,geo02 > /dev/null 2>&1; }` pour chaque commit (en utilisant le shell de ce commit) : ``` commit e78bbe966d50a5c4dd4cd62bc426aa0676c55aaa real 1m6.746s user 0m46.150s sys 0m8.564s commit adb19213339e4c89fb3dabd222ae03b6ba4e201e real 1m12.647s user 0m51.524s sys 0m8.805s commit b1d7c7d1c7f070f8351714cabe2acd9c1cde476f real 1m8.769s user 0m47.892s sys 0m8.740s commit a57d96c8f58a52a494c61262f0f5e0d83be1d754 real 1m10.571s user 0m49.526s sys 0m8.681s commit 83a76f9d12b5df14bf477c9840fe133283272a57 real 1m9.366s user 0m48.215s sys 0m8.881s ``` Sur un run précédent on observe de la variabilité de l'ordre de qq secondes. **Conclusion:** Pas de changements drastique en terme de la perf pour l'eval
mdebray changed title from WIP: meta rework to meta rework 2025-01-09 22:41:17 +01:00
mdebray commented 2025-01-09 22:42:02 +01:00
Author
Owner
Copy link

PS: les changements de hash sont principalement causés par le fait qu'on patch un peu différemment les sources

PS: les changements de hash sont principalement causés par le fait qu'on patch un peu différemment les sources
thubrecht reviewed 2025-01-16 08:46:44 +01:00
machines/nixos/storage01/secrets/secrets.nix Outdated
@ -9,3 +9,4 @@
"bupstash-put_key"
"forgejo-mailer_password_file"
"forgejo_runners-token_file"
"garage-environment_file"
thubrecht commented 2025-01-16 08:46:44 +01:00
Owner
Copy link

Oubli lors du rebase, y'a plus d'env file

Oubli lors du rebase, y'a plus d'env file
mdebray commented 2025-01-16 09:31:04 +01:00
Author
Owner
Copy link

Ouais. Mais j'ai des pb aussi avec l'évaluation de lix mnt (apple-sdk_11 n'existe plus). Je pousse une nouvelle version dès que ça marche

Ouais. Mais j'ai des pb aussi avec l'évaluation de lix mnt (`apple-sdk_11` n'existe plus). Je pousse une nouvelle version dès que ça marche
mdebray marked this conversation as resolved
thubrecht commented 2025-01-16 08:50:02 +01:00
Owner
Copy link

Ce serait bien de séparer le coeur du rework, et l'import de l'overlay de nix-pkgs (sur lequel je suis pas chaud). Je pense que c'est une mauvaise idée d'appliquer l'overlay de manière globale et il vaut mieux faire des overlay locaux plus ciblés. Ça évite d'avoir une version modifié de django-allauth qui se retrouve partout par exemple alors que y'en aurait besoin que pour dgsi

Ce serait bien de séparer le coeur du rework, et l'import de l'overlay de nix-pkgs (sur lequel je suis pas chaud). Je pense que c'est une mauvaise idée d'appliquer l'overlay de manière globale et il vaut mieux faire des overlay locaux plus ciblés. Ça évite d'avoir une version modifié de django-allauth qui se retrouve partout par exemple alors que y'en aurait besoin que pour dgsi
mdebray commented 2025-01-16 09:29:19 +01:00
Author
Owner
Copy link

Ce serait bien de séparer le coeur du rework, et l'import de l'overlay de nix-pkgs (sur lequel je suis pas chaud). Je pense que c'est une mauvaise idée d'appliquer l'overlay de manière globale et il vaut mieux faire des overlay locaux plus ciblés. Ça évite d'avoir une version modifié de django-allauth qui se retrouve partout par exemple alors que y'en aurait besoin que pour dgsi

C'est pour ça qu'il y a plusieurs commits (mais vu qu'on a pas Gerrit ça marche pas en fait). Je vais ouvrir une PR séparée du coup.

nix-pkgs apporte des choses en plus de mises à jours ? (sauf pour le patch des webhooks)

> Ce serait bien de séparer le coeur du rework, et l'import de l'overlay de nix-pkgs (sur lequel je suis pas chaud). Je pense que c'est une mauvaise idée d'appliquer l'overlay de manière globale et il vaut mieux faire des overlay locaux plus ciblés. Ça évite d'avoir une version modifié de django-allauth qui se retrouve partout par exemple alors que y'en aurait besoin que pour dgsi C'est pour ça qu'il y a plusieurs commits (mais vu qu'on a pas Gerrit ça marche pas en fait). Je vais ouvrir une PR séparée du coup. nix-pkgs apporte des choses en plus de mises à jours ? (sauf pour le patch des webhooks)
mdebray changed title from meta rework to WIP: meta rework 2025-01-16 11:05:53 +01:00
mdebray commented 2025-01-16 11:06:17 +01:00
Author
Owner
Copy link

Waiting #258

Waiting https://git.dgnum.eu/DGNum/infrastructure/pulls/258
mdebray changed title from WIP: meta rework to meta rework 2025-01-16 12:18:02 +01:00
thubrecht reviewed 2025-01-16 12:40:33 +01:00
meta/organization.nix Outdated
@ -20,0 +28,4 @@
email = "catvayor@dgnum.eu";
username = "lbailly";
sshKeys = [
"ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIAA16foz+XzwKwyIR4wFgNIAE3Y7AfXyEsUZFVVz8Rie catvayor@katvayor"
thubrecht commented 2025-01-16 12:40:33 +01:00
Owner
Copy link

Ses nouvelles clés SSH ont été drop durant le rebase

Ses nouvelles clés SSH ont été drop durant le rebase
mdebray marked this conversation as resolved
thubrecht reviewed 2025-01-16 12:41:50 +01:00
sources.nix Outdated
@ -0,0 +5,4 @@
# SPDX-License-Identifier: EUPL-1.2
let
unpatchedSources = import ./npins;
thubrecht commented 2025-01-16 12:41:50 +01:00
Owner
Copy link

sources et patchedSources plutôt

`sources` et `patchedSources` plutôt
thubrecht reviewed 2025-01-16 12:44:33 +01:00
lib/keys/default.nix Outdated
@ -0,0 +29,4 @@
let
names = meta.nodes.${node}.admins;
in
unique (getMemberKeys names ++ getNodeKeys [ node ]);
thubrecht commented 2025-01-16 12:44:33 +01:00
Owner
Copy link

Tu oublies complètement adminGroups

Tu oublies complètement `adminGroups`
mdebray marked this conversation as resolved
mdebray commented 2025-01-16 15:09:12 +01:00
Author
Owner
Copy link

Bon je vais refaire un check d'égalité des hash parce que les rebases successifs ont l'air d'avoir drop plein de choses

Bon je vais refaire un check d'égalité des hash parce que les rebases successifs ont l'air d'avoir drop plein de choses
thubrecht reviewed 2025-01-23 23:54:38 +01:00
sources.nix
@ -0,0 +5,4 @@
# SPDX-License-Identifier: EUPL-1.2
let
unpatchedSources = import ./npins;
thubrecht commented 2025-01-23 23:45:00 +01:00
Owner
Copy link

__rawSources = import ./npins;

__rawSources = import ./npins;
sources.nix
@ -0,0 +7,4 @@
let
unpatchedSources = import ./npins;
bootstrapNixpkgs = import unpatchedSources.nixos-unstable { };
thubrecht commented 2025-01-23 23:45:36 +01:00
Owner
Copy link

pkgs = import __rawSources.nixos-unstable { };

pkgs = import __rawSources.nixos-unstable { };
sources.nix
@ -0,0 +10,4 @@
bootstrapNixpkgs = import unpatchedSources.nixos-unstable { };
patch = (import ./lib/nix-patches { patchFile = ./patches; }).base {
pkgs = bootstrapNixpkgs;
thubrecht commented 2025-01-23 23:46:04 +01:00
Owner
Copy link

inherit pkgs;

inherit pkgs;
sources.nix
@ -0,0 +35,4 @@
;
fullLib = bootstrapNixpkgs.lib.extend libOverlay;
}
thubrecht commented 2025-01-23 23:54:26 +01:00
Owner
Copy link

Okay, en fait ce serait mieux que ce fichier s'appelle bootstrap.nix, et ça donnerait un attrset avec:

rec {
  sources = ...
  pkgs = pkgs // { lib = pkgs.lib.extend overlays.lib; };
  unpatchedSources = ...
  overlays.lib = _: lib: { extra = import ./lib/nix-lib { inherit lib; }; };
}
Okay, en fait ce serait mieux que ce fichier s'appelle `bootstrap.nix`, et ça donnerait un attrset avec: ```nix rec { sources = ... pkgs = pkgs // { lib = pkgs.lib.extend overlays.lib; }; unpatchedSources = ... overlays.lib = _: lib: { extra = import ./lib/nix-lib { inherit lib; }; }; } ```
thubrecht closed this pull request 2025-02-06 13:59:46 +01:00
dgnum-chores referenced this pull request from a commit 2025-06-12 14:35:39 +02:00
lon: update agenix
dgnum-chores referenced this pull request from a commit 2025-06-12 14:36:38 +02:00
lon: update agenix
dgnum-chores referenced this pull request from a commit 2025-06-12 14:57:57 +02:00
lon: update agenix
lbailly referenced this pull request from a commit 2025-06-12 16:21:20 +02:00
lon: update agenix
lbailly referenced this pull request from a commit 2025-06-12 16:25:50 +02:00
lon: update agenix
Some checks failed
Check workflows / check_workflows (pull_request) Successful in 16s
Required
Details
Check meta / check_meta (pull_request) Successful in 17s
Required
Details
Check meta / check_dns (pull_request) Successful in 18s
Required
Details
Run pre-commit on all files / pre-commit (push) Successful in 25s
Required
Details
Build all the nodes / ap01 (pull_request) Successful in 32s
Required
Details
Build all the nodes / netcore02 (pull_request) Successful in 31s
Required
Details
Build all the nodes / geo01 (pull_request) Successful in 1m35s
Required
Details
Build all the nodes / tower01 (pull_request) Successful in 1m41s
Required
Details
Build all the nodes / storage01 (pull_request) Successful in 1m57s
Required
Details
Build all the nodes / web02 (pull_request) Successful in 1m41s
Required
Details
Build the shell / build-shell (pull_request) Successful in 34s
Required
Details
Build all the nodes / bridge01 (pull_request) Successful in 2m44s
Required
Details
Run pre-commit on all files / pre-commit (pull_request) Successful in 35s
Required
Details
Build all the nodes / hypervisor01 (pull_request) Successful in 2m53s
Required
Details
Build all the nodes / hypervisor02 (pull_request) Successful in 2m54s
Required
Details
Build all the nodes / hypervisor03 (pull_request) Successful in 3m3s
Required
Details
Build all the nodes / build01 (pull_request) Successful in 3m20s
Required
Details
Build all the nodes / geo02 (pull_request) Successful in 3m21s
Required
Details
Build all the nodes / web01 (pull_request) Successful in 2m51s
Required
Details
Build all the nodes / vault01 (pull_request) Successful in 2m59s
Required
Details
Build all the nodes / web03 (pull_request) Successful in 1m48s
Required
Details
Build all the nodes / rescue01 (pull_request) Successful in 3m14s
Required
Details
Build all the nodes / compute01 (pull_request) Failing after 2m50s
Required
Details

Pull request closed

This pull request cannot be reopened because the branch was deleted.
Sign in to join this conversation.
Reviewers
No reviewers
Labels
Clear labels   
awaiting
awaiting-author
Awaiting for the author interaction (e.g. QA/confirmation/final merge)

  
awaiting
awaiting-reviewer
Awaiting for a privileged reviewer to approve this PR

  
bot

Pull Request opened by a bot

  
deployed

This PR is currently deployed on the infra

  
Silenced alert

This is a known and silenced alert.

  
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No labels
awaiting
awaiting-author
awaiting
awaiting-reviewer
bot
deployed
Silenced alert
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: DGNum/infrastructure#230
No description provided.
Delete branch "meta_rework"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?