forked from DGNum/infrastructure
Compare commits
6 commits
npins-upda
...
main
Author | SHA1 | Date | |
---|---|---|---|
f20353b727 | |||
a4de5f4d31 | |||
363f8d3c67 | |||
12b20e6acf | |||
de6742aa0d | |||
d76e655174 |
5 changed files with 65 additions and 8 deletions
|
@ -21,6 +21,7 @@ lib.extra.mkConfig {
|
||||||
"librenms"
|
"librenms"
|
||||||
"mastodon"
|
"mastodon"
|
||||||
"nextcloud"
|
"nextcloud"
|
||||||
|
"ollama-proxy"
|
||||||
"outline"
|
"outline"
|
||||||
"plausible"
|
"plausible"
|
||||||
"postgresql"
|
"postgresql"
|
||||||
|
|
27
machines/compute01/ollama-proxy.nix
Normal file
27
machines/compute01/ollama-proxy.nix
Normal file
|
@ -0,0 +1,27 @@
|
||||||
|
{
|
||||||
|
pkgs,
|
||||||
|
nodes,
|
||||||
|
meta,
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
{
|
||||||
|
services.nginx = {
|
||||||
|
enable = true;
|
||||||
|
recommendedProxySettings = true;
|
||||||
|
virtualHosts."ollama01.beta.dgnum.eu" = {
|
||||||
|
enableACME = true;
|
||||||
|
forceSSL = true;
|
||||||
|
locations."/" = {
|
||||||
|
proxyPass = "http://${meta.network.krz01.netbirdIp}:${toString nodes.krz01.config.services.ollama.port}";
|
||||||
|
basicAuthFile = pkgs.writeText "ollama-htpasswd" ''
|
||||||
|
raito:$y$j9T$UDEHpLtM52hRGK0I4qT6M0$N75AhENLqgtJnTGaPzq51imhjZvuPr.ow81Co1ZTcX2
|
||||||
|
'';
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
networking.firewall.allowedTCPPorts = [
|
||||||
|
80
|
||||||
|
443
|
||||||
|
];
|
||||||
|
}
|
|
@ -2,6 +2,8 @@
|
||||||
config,
|
config,
|
||||||
lib,
|
lib,
|
||||||
pkgs,
|
pkgs,
|
||||||
|
meta,
|
||||||
|
name,
|
||||||
...
|
...
|
||||||
}:
|
}:
|
||||||
|
|
||||||
|
@ -12,11 +14,11 @@ lib.extra.mkConfig {
|
||||||
|
|
||||||
enabledServices = [
|
enabledServices = [
|
||||||
# INFO: This list needs to stay sorted alphabetically
|
# INFO: This list needs to stay sorted alphabetically
|
||||||
|
# Machine learning API machine
|
||||||
|
"microvm-ml01"
|
||||||
"microvm-router01"
|
"microvm-router01"
|
||||||
"nvidia-tesla-k80"
|
"nvidia-tesla-k80"
|
||||||
"proxmox"
|
"proxmox"
|
||||||
# Machine learning API machine
|
|
||||||
"microvm-ml01"
|
|
||||||
];
|
];
|
||||||
|
|
||||||
extraConfig = {
|
extraConfig = {
|
||||||
|
@ -57,14 +59,20 @@ lib.extra.mkConfig {
|
||||||
];
|
];
|
||||||
}))
|
}))
|
||||||
];
|
];
|
||||||
services.ollama = {
|
|
||||||
enable = true;
|
services = {
|
||||||
package = pkgs.callPackage ./ollama.nix {
|
ollama = {
|
||||||
cudaPackages = pkgs.cudaPackages_11;
|
enable = true;
|
||||||
# We need to thread our nvidia x11 driver for CUDA.
|
host = meta.network.${name}.netbirdIp;
|
||||||
extraLibraries = [ config.hardware.nvidia.package ];
|
package = pkgs.callPackage ./ollama.nix {
|
||||||
|
cudaPackages = pkgs.cudaPackages_11;
|
||||||
|
# We need to thread our nvidia x11 driver for CUDA.
|
||||||
|
extraLibraries = [ config.hardware.nvidia.package ];
|
||||||
|
};
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|
||||||
|
networking.firewall.interfaces.wt0.allowedTCPPorts = [ config.services.ollama.port ];
|
||||||
};
|
};
|
||||||
|
|
||||||
root = ./.;
|
root = ./.;
|
||||||
|
|
|
@ -15,6 +15,8 @@ let
|
||||||
];
|
];
|
||||||
|
|
||||||
buckets = [
|
buckets = [
|
||||||
|
"monorepo-terraform-state"
|
||||||
|
|
||||||
"banda-website"
|
"banda-website"
|
||||||
"castopod-dgnum"
|
"castopod-dgnum"
|
||||||
"hackens-website"
|
"hackens-website"
|
||||||
|
@ -77,6 +79,17 @@ in
|
||||||
users.groups.garage = { };
|
users.groups.garage = { };
|
||||||
|
|
||||||
services.nginx.virtualHosts = {
|
services.nginx.virtualHosts = {
|
||||||
|
"s3-admin.dgnum.eu" = {
|
||||||
|
enableACME = true;
|
||||||
|
forceSSL = true;
|
||||||
|
|
||||||
|
locations."/".extraConfig = ''
|
||||||
|
proxy_pass http://127.0.0.1:3903;
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
'';
|
||||||
|
};
|
||||||
|
|
||||||
${host} = {
|
${host} = {
|
||||||
enableACME = true;
|
enableACME = true;
|
||||||
forceSSL = true;
|
forceSSL = true;
|
||||||
|
|
|
@ -68,6 +68,12 @@ let
|
||||||
"support" # Zammad support
|
"support" # Zammad support
|
||||||
"telegraf" # Telegraf
|
"telegraf" # Telegraf
|
||||||
|
|
||||||
|
# Beta-grade machine learning API servers
|
||||||
|
"ollama01.beta"
|
||||||
|
"openui.beta"
|
||||||
|
"whisper.beta"
|
||||||
|
"stable-diffusion.beta"
|
||||||
|
|
||||||
# DGSI
|
# DGSI
|
||||||
"dgsi"
|
"dgsi"
|
||||||
"profil"
|
"profil"
|
||||||
|
@ -87,6 +93,8 @@ let
|
||||||
"*.s3"
|
"*.s3"
|
||||||
"cdn"
|
"cdn"
|
||||||
"s3"
|
"s3"
|
||||||
|
# The administration endpoint for Garage.
|
||||||
|
"s3-admin"
|
||||||
];
|
];
|
||||||
|
|
||||||
rescue01.dual = [
|
rescue01.dual = [
|
||||||
|
|
Loading…
Reference in a new issue