Python ile Pazaryeri XML Verilerini JSON'a Çevirme Kılavuzu

Amaç:

Schema’yı anlamadan adım atma.

• Pazaryerinin dökümanından XSD/şema dosyasını indirip `xmlschema` kütüphanesi ile doğrula.
• Kritik alanlar (stok, fiyat, varyant id) için required alan listesini çıkar.
• Şemadaki maxOccurs/minOccurs değerlerini not al; JSON modeline birebir yansıt.

Amaç:

XML’i Python objesine zahmetsiz çevir.

• `pip install xmltodict` sonrası `xmltodict.parse()` ile feed’i OrderedDict olarak al.
• Büyük dosyalar için `xmltodict.parse(stream, item_depth=2, item_callback=...)` yapısını kullanarak chunk bazlı dönüştür.
• Attribute’ları (`@`) ve metin alanlarını (`#text`) normalize eden küçük yardımcı fonksiyon yaz.

Amaç:

Tip güvenliğini elden bırakma.

• `BaseModel` sınıflarıyla ürün, varyant, fiyat gibi modeller tanımla.
• `ConfigDict(extra="forbid")` kullanarak beklenmeyen alanlara karşı önlem al.
• Dönüştürülen veriyi `model_validate()` ile çalıştır, hatalı kayıtları ayrı kuyruğa at.

Amaç:

On binlerce ürünü dakikalar içinde işlemek.

• `asyncio` + `aiofiles` ile XML dosyalarını eş zamanlı oku.
• Dönüştürdüğün JSON paketlerini `asyncio.Queue` üzerinden worker’lara dağıt; her worker REST API’ye veya Kafka’ya push etsin.
• CPU kullanımını düşürmek için `orjson` ile serileştirme yap.

Amaç:

Hatalı dönüşümleri iz bırakmadan yakalamak.

• Her dosya için checksum hesaplayıp logla; JSON çıktısında aynı checksum’ı sakla.
• Sıradışı durumlarda (eksik fiyat, negatif stok) otomatik alarm üretip dosyayı quarantine klasörüne taşı.
• Başarısız kayıtları yeniden işlemek için Celery/Redis tabanlı retry mekanizması kur.