cschulz/rd13_tile_server
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

fix: satellite-download .part-Datei (Martin-safe), 1GB Limit, YAML bereinigt

Browse source
This commit is contained in:
Conrad Schulz 2026-06-13 17:49:53 +00:00
parent c01ddeed31
commit 62494438ef
5 changed files with 31 additions and 14 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

4
docker-compose.download.yml
View file

@ -37,6 +37,6 @@ services:
resources: resources:
limits: limits:
cpus: "4.0" cpus: "4.0"
memory: 2048M memory: 1G
reservations: reservations:
memory: 128M memory: 64M

3
docs/ADMIN.md
View file

@ -100,7 +100,8 @@ Sources-Cache unter `./build/sources/` – bei Rebuild nicht löschen (spart Re-
Der Download läuft in einem eigenen Container – vollständig unabhängig von Der Download läuft in einem eigenen Container – vollständig unabhängig von
SSH-Sessions und VS Code. Resume-fähig: bei Unterbrechung einfach neu starten. SSH-Sessions und VS Code. Resume-fähig: bei Unterbrechung einfach neu starten.
**Ressourcen:** 16 Threads, 2 GB RAM-Limit, 4 CPUs – konfigurierbar in `docker-compose.download.yml`. **Ressourcen:** 16 Threads, 1 GB RAM-Limit (IO-bound), 4 CPUs.
**Robustheit:** Download schreibt in `satellite.mbtiles.part` → Martin ignoriert diese Datei während des Downloads. Nach Abschluss automatische Umbenennung zu `satellite.mbtiles`.
```bash ```bash
cd /mnt/services-data/rd13_tile_server cd /mnt/services-data/rd13_tile_server

28
docs/history/prompts/2026-06-13_tile-raster-architecture_session.md
View file

@ -79,15 +79,27 @@ Ok dann lass uns das nur für Europa in z16 bauen. Wie viel wären es dann?
### Antwort 12 ### Antwort 12
Europa z16: ~25 GB Sources + ~150 GB Temp + ~80 GB Output = ~280 GB auf Host. Server: +80 GB (555 GB frei → kein Problem). Buildzeit: ~8–12h mit 12 CPUs. Europa z16: ~25 GB Sources + ~150 GB Temp + ~80 GB Output = ~280 GB auf Host. Server: +80 GB (555 GB frei → kein Problem). Buildzeit: ~8–12h mit 12 CPUs.
### Prompt 13 ### Prompt 14
Ok ja so bauen wir es! Der Martin Container braucht ziemlich viel CPU und der Build Container scheint abgeschmiert, schau mal was da los ist.
### Antwort 13 ### Antwort 14
docker-compose.build.yml committed. Startbefehl für Host: Martin 111% CPU: Auto-Discovery lädt `satellite.mbtiles` (im Download), erkennt gemischte JPEG/PNG-Formate und hammert im Error-Loop.
```bash Satellite Exited (137): erneut OOM wegen bounded-queue-Liste die trotzdem zu viel RAM verbrauchte.
AREA=europe MAX_ZOOM=16 RAM=28g BUILD_CPUS=12 BUILD_MEM=30g \
docker compose -f docker-compose.build.yml up Fix 1: Download schreibt in `satellite.mbtiles.part` → Martin ignoriert `.part`-Dateien.
``` Fix 2: Memory-Limit auf 1GB gesenkt (Script ist IO-bound, braucht <100MB).
Fix 3: YAML-Duplikat `reservations` in docker-compose.download.yml bereinigt.
Martin gestoppt bis Download fertig.
### Prompt 15
Sicher, es macht nichts wenn wir ihn einfach auslassen bis wir fertig sind.
### Antwort 15
Martin bleibt gestoppt. Download läuft mit .part-Datei, 1GB Limit, 16 Threads.
Status:
- `satellite.mbtiles.part` wächst (neuer aktiver Download)
- `satellite.mbtiles` (3.5 GB, alter Resume-Stand) bleibt als Backup
### Antwort 10 ### Antwort 10

2
docs/history/summary/PROJECT_CONTEXT.md
View file

@ -1,6 +1,6 @@
# PROJECT_CONTEXT – rd13_tile_server # PROJECT_CONTEXT – rd13_tile_server
**Letzte Aktualisierung:** 2026-06-13 – Satellit-Download läuft (~372 MB, stabil). Europa z16 Build-Container vorbereitet für Host-Rechner. **Letzte Aktualisierung:** 2026-06-13 – Martin gestoppt (wartend). Satellit-Download läuft in `.part`-Datei (3.5 GB bereits heruntergeladen, resume aktiv). Fixes: .part-Pattern, OOM-Limit 1GB, YAML-Duplikat.
--- ---

8
scripts/download-satellite.py
View file

@ -7,7 +7,9 @@ from pathlib import Path
MAX_ZOOM = int(os.environ.get("SAT_MAX_ZOOM", "10")) MAX_ZOOM = int(os.environ.get("SAT_MAX_ZOOM", "10"))
THREADS = int(os.environ.get("SAT_THREADS", "8")) THREADS = int(os.environ.get("SAT_THREADS", "8"))
OUTPUT = Path(sys.argv[1]) if len(sys.argv) > 1 else Path("/data/satellite.mbtiles") # Schreibt in .part-Datei → Martin ignoriert diese während des Downloads
_FINAL = Path(sys.argv[1]) if len(sys.argv) > 1 else Path("/data/satellite.mbtiles")
OUTPUT = _FINAL.with_suffix(".mbtiles.part")
TILE_URL = ("https://tiles.maps.eox.at/wmts/1.0.0/" TILE_URL = ("https://tiles.maps.eox.at/wmts/1.0.0/"
"s2cloudless-2021_3857/default/GoogleMapsCompatible/{z}/{y}/{x}.jpg") "s2cloudless-2021_3857/default/GoogleMapsCompatible/{z}/{y}/{x}.jpg")
HEADERS = {"User-Agent": "rd13-tileserver/1.0 (self-hosted)", "Referer": "https://s2maps.eu"} HEADERS = {"User-Agent": "rd13-tileserver/1.0 (self-hosted)", "Referer": "https://s2maps.eu"}
@ -120,7 +122,9 @@ def main():
conn.execute("CREATE UNIQUE INDEX IF NOT EXISTS idx ON tiles(zoom_level, tile_column, tile_row)") conn.execute("CREATE UNIQUE INDEX IF NOT EXISTS idx ON tiles(zoom_level, tile_column, tile_row)")
conn.execute("ANALYZE") conn.execute("ANALYZE")
conn.close() conn.close()
log("[Sat] Fertig %.1fh -- %s" % ((time.time() - t0) / 3600, OUTPUT)) log("[Sat] Benenne um: %s → %s" % (OUTPUT, _FINAL))
OUTPUT.rename(_FINAL)
log("[Sat] Fertig %.1fh -- %s" % ((time.time() - t0) / 3600, _FINAL))
if __name__ == "__main__": if __name__ == "__main__":