Niezalogowany [ logowanie ]
Subskrybuj kanał ATOM Kanał ATOM

Autor wpisu: JoShiMa, dodany: 22.03.2021 20:01, tagi: sql

Framework Django daje możliwość ręcznego budowania migracji. Jest to bardzo przydatne jeśli potrzebujemy dodać do aplikacji jakieś dane na początek. Ja wykorzystałam ostatnio tę możliwość do skopiowania danych ze starej do nowej wersji aplikacji. Do tej operacji potrzebna mi była jeszcze umiejętność łączenia się z dwiema bazami jednocześnie, oraz uruchamiania zapytań SQL, czyli pracy na ... Czytaj dalejDjango – kopiowanie danych między projektami, czyli bardziej zaawansowane migracje.

The post Django - kopiowanie danych między projektami, czyli bardziej zaawansowane migracje. first appeared on Z notatnika deweloperki.

Autor wpisu: Wojciech Sznapka, dodany: 01.11.2020 23:10, tagi: php

Every API fails at random points of time and that’s unavoidable. Sadly, it’s not taken care correctly during integrating third party API’s. I see it very often. „Hey there! But I’m using try-catch and handle errors, sometimes even I log them to the file…” one might say. Well, so what? What happens when it fails and you miss data which needed to be fetched during the daily ETL process? Or your business partner misses information if you send data to their API and for some reason, it fails. What then? As long as you use cron and have output emailed to some mailbox, which is being monitored – you’ll notice. Maybe you use Sentry or any other application monitoring/error tracking software and you’ll spot some anomaly. But imagine having dozens of such jobs running on a daily basis – it’s easy to lose track.

I think you get my point now. API errors occur quite often. Most of them are due to temporary service unavailability, caused mainly by having too much traffic at the moment. The simple solution is to retry. In this post, I’ll show how to easily implement efficient retry mechanism.

According to Wikipedia

Exponential backoff is an algorithm that uses feedback to multiplicatively decrease the rate of some process, in order to gradually find an acceptable rate.

In case, which I’ll explore, it’s a way to retry a piece of code, in case of an exception occurrence. It will delay every attempt with exponential pause, according to the equation (2^attempt) * baseTime

Below example uses PHP’s backoff library. Similar libs can be found in Python, node.js and probably any language of choice.

use GuzzleHttp\Exception\RequestException;
use Monolog\Logger;
use Monolog\Handler\StreamHandler;
use Monolog\Processor\UidProcessor;
use STS\Backoff\Backoff; # nothing to do with ;)

$log = new Logger('x');
$log->pushHandler(new StreamHandler('php://stdout', Logger::DEBUG));
$log->pushProcessor(new UidProcessor());

$client = new GuzzleHttp\Client();
// below API fails 60% of time
// always fail first call in 5 minutes timespan
$url = '';
$log->debug(sprintf('Fetching from %s', $url));

$backoff = new Backoff(10, 'exponential', 10000, true);
$result = $backoff->run(function() use ($client, $url, $log) {
    try {
        $res = $client->request('GET', $url);
        $data = json_decode($res->getBody(), true);
        $log->info(sprintf('Got response, %d items', count($data)));
    } catch (RequestException $e) {
        throw $e; // causes backoff lib to retry
$log->debug('All done');

When you run it with php ./console.php you’ll get:

[22:29:15.649] x.DEBUG: Fetching from [] {"uid":"6b3d944"}
[22:29:15.759] x.ERROR: API failed, what a surprise! [] {"uid":"6b3d944"}
[22:29:15.832] x.ERROR: API failed, what a surprise! [] {"uid":"6b3d944"}
[22:29:16.268] x.INFO: Got response, 5 rows [] {"uid":"6b3d944"}
[22:29:16.269] x.DEBUG: All done [] {"uid":"6b3d944"}

As you can see, the backoff library retries with exponential intervals until our wrapped closure doesn’t throw an exception. It has set 10 retries and waitCap 10 seconds, so will stop processing whenever one of those conditions appear. I’ve also defined jitter parameter to true to spread out retries and minimize collisions.

Last but not least – always log your external API usage. It will help you a lot during the debugging phase. Also, it’s very handy to use UidProcessor which puts an uid (per session) into logger’s context. It allows filtering logs from given invocation, which is especially helpful with overlapping calls or concurrent usage.

Autor wpisu: Wojciech Sznapka, dodany: 11.10.2020 21:33, tagi: sql

TL;DR: changes multi-line input into the comma-separated output.

Full story: around 6 years ago I created a simple tool to speed up my daily job. The problem was – our Affiliate Manager has been giving me excel file with one column – the IDs of customers to change their affiliate association in the database. There was a simple query behind it:

UPDATE clients
SET affiliate_id = 100001
WHERE id IN (<here goes comma separated list of clients>);

Of course, you can do that somehow in Excel. I often pasted that column to VIM and put the commas using a macro. But that was becoming a hassle, when I’ve been asked a couple times per week, sometimes a day.

I decided to create a simple tool, which looked ugly, but worked just fine.

I’ve changed job since then, but still use almost every day. I’ve seen people in my teams having the same problem so I’ve given them the tool as well. Today is a good time to open-source it and make it slightly prettier, thanks to Tailwind CSS.

I’ve also pushed source to the GitHub, feel free to use it your own way or submit Pull Request or Issue:

Autor wpisu: Wojciech Sznapka, dodany: 24.09.2020 21:26, tagi: php

Apache Kafka has became an obvious choice and industry standard for data streaming. When streaming large amounts of data it’s often reasonable to use AVRO format, which has at least three advantages:

  • it’s one of most size efficient (compared to JSON, protobuf, or parquet); AVRO serialized payload can be 10 times smaller than the JSON equivalent,
  • enforces usage of a schema,
  • works out of the box with Kafka Connect (it’s a requirement if you’d like to use BigQuery sink connector).

Let’s see how to send data to Kafka in AVRO format from PHP producer, so that Kafka Connect can parse it and put data to sink.

I assume you know the basics of AVRO and Schema Registry, but if not – let me know in the comments, I’d be happy to help with setting up Schema Registry! Footnote: the easiest way is it, is to use Confluent’s official Docker image and deploy it on Kubernetes.

In order to use PHP producer which will serialize payloads in AVRO, we need to send it in a particular „envelope”, which contains schema ID. This way Kafka Connect will know which schema should be retrieved from Schema Registry.

Let’s consider, that our PHP Kafka producer will send simple payload:

$data = [
  'time' => '2020-09-24 20:45:00',
  'level' => 'info',
  'channel' => 'main',
  'message' => 'Some log entry has been produced',

First of all, you need to create an AVRO schema for that. You can get one by using number of tools available online, like this.

Our AVRO schema will look like this:

$schema = <<<SCHEMA
  "name": "LogEntry",
  "type": "record",
  "namespace": "pl.sznapka",
  "fields": [
      "name": "time",
      "type": "string"
      "name": "level",
      "type": "string"
      "name": "channel",
      "type": "string"
      "name": "message",
      "type": "string"

Next step is to register our AVRO schema in Schema Registry and obtain its ID. You can either call Schema Registry API directly or use PHP library flix-tech/confluent-schema-registry-api (which I recommend).

Note – you should register your schema under Kafka topic name with suffix ‚-value’

$kafkaTopicName = 'logs';
$subject = $kafkaTopicName . '-value';
$schemaRegistry->register($subject, \AvroSchema::parse($schema));

Once your schema is in the Schema Registry you need to retrieve ID for your subject:

Czytaj dalej tutaj (rozwija treść wpisu)
Czytaj dalej na blogu autora...

Autor wpisu: matipl, dodany: 27.04.2020 15:43, tagi: php

W zeszłym tygodniu wspomniałem o spostrzeżeniach jakimi dzieli się Ola Kunysz. W drugim vlogu zatytułowanym „Wstyd się przyznać do niewiedzy?” poruszyła ona temat rekrutacji w IT z punktu widzenia rekrutera. Bardzo dobre pogaduchy, ale zatrzymałem się myślami nad:

Znacie pewnie te rozmowy rekrutacyjne, na których ktoś pyta: jak wywołać Garbage Collector?

Czy, aby na pewno jest to pytanie z „podręcznika dobrych pytań na rozmowę rekrutacyjną?” Nie sądzę, ponieważ takiego podręcznika nie mam (a jest dostępny?), a zdarza mi się pytać o bardziej niskopoziomowe sprawy… I tak zastanawiając się nad tym pytaniem zdałem sobie sprawę, że nie dzieliłem się tutaj sprawami dotyczącymi rekrutacji. Od ponad 10 lat w różnych firmach wcielam się w rolę rekrutera. Masa doświadczenia za mną. Po latach wiem na pewno jakiej osoby szukam i to bez znaczenia na stanowisko (absolwent, osoba starająca się przekwalifikować, programista z kilkuletnim doświadczeniem, architekt itd.).

Osoba z pasją

Kogo szukam? Osoby z pasją, której błyszczą się oczy, gdy tylko mówi o tym co lubi robić. Pasją w tej chwili nie musi być IT, możesz być na początku swojej drogi w IT, jako programista, mieć naprawdę małe doświadczenie, ale w trakcie luźnej rozmowy da się wyczuć, że jesteś osobą ambitną, lubiącą rozwój i posiadasz odpowiedni sposób myślenia, kojarzenia faktów.

Ponieważ technologie, biblioteki, języki czy znajomość dobrych praktyk programistycznych (np. wzorce, psr-y) są to rzeczy nabyte. Jeśli posiada się otwarty umysł na wiedzę, chęć rozwoju (i nie mówię tutaj o szumnych zapowiedziach, ale faktycznych działaniach) to z czasem taka osoba może wszystko nadrobić i stać się nawet liderem w zespole. Mógłbym tutaj przytoczyć masę historii osób, które teraz są świetnymi programistami, rozwiązującymi skomplikowane zagadnienia. A na rekrutacji były to osoby zasiedziałe w firmie jednego projektu, gdzie zajmowały się od lat wyłącznie utrzymaniem, lub osoby, które ogarniały w firmie wszystko z małą ilością czasu na programowanie. Oczywiście, zdarzały się osoby znakomite pod względem doświadczenia już na rekrutacji, ale cześto pojawiały się na rozmowie, bo w obecnym miejscu były redukcje. Jak również znam kilka osób, które widziałbym w IT, a teraz są zupełnie w innych branżach. Wiem, że rewelacyjnie poradziliby sobie jako analitycy czy programiści, widzę podczas rozmów jak rozwiązują pewne zagadnienia, łącza fakty… ale nie widzą się w IT. Szkoda.

PHPCon Poland 2015 - gadżety

Trudne pytania?

Czy nieraz pojawia się pytanie o OpCache? W jaki sposób i gdzie PHP przechowuje dane, czy da się coś zoptymalizować w konfiguracji, czy pisało się własne rozszerzenia w C. Tak – pojawiają się takie pytania, ponieważ projekty są różne i różne jest zapotrzebowanie kadrowe. Ale nie zrażaj się takimi pytaniami. Nie wiesz i tyle, wiedza rzecz nabyta tylko o tym powiedz. Inną kwestią jest co zrobisz ze swoją niewiedzą po spotkaniu? Poprosisz o maile z podsumowaniem, czego nie wiedziałeś, sam poszukasz w Internecie odpowiedzi, douczysz się dla samego siebie… Czy stwierdzisz – co za głupia rekrutacja, po co mam to wiedzieć…


Rozmawiam o wszystkim. Moim punktem startu, jest to co otrzymam od kandydata. Nieraz się zdarza, że poza pytania dotyczące CV w ogóle nie wychodzimy, ponieważ jest interesujące (nie tylko sprawy z IT), są miejsca, których można się „uczepić” (np. Raspberry Pi). Gdy czasami CV jest ubogie, i po 2-3 pytaniach nie mamy o czym rozmawiać to zaczynam zadawać pytania ogólne dotyczące rozwiązywania problemów. Nie są to pytania o algorytmy, wiedzę stricte uniwersytecką, ale o życiowy projekt i problem jaki się tam zdarzył lata temu. Jakbyś go rozwiązał? Gdy wiem lub czuję, że to osoba z całą teczką wykonanych projektów, z niesamowitą ilością problemów, które spotkała w IT zadaje kilka pytań związanych z dzisiaj używanymi technologiami i tyle. Koniec, kropka w notatce ze spotkania…

To jest rozmowa, techniczna, ale rozmowa. Zdarza się nieraz, że w trakcie rozmowy odkrywam, że dana osoba ma predyspozycje do pracy zdalnej lub samodzielnego projektu, niż pracy w zespole kilkuosobowym. Ale najczęściej sprawami dotyczących kompetencji tzw. miękkich zajmuje się dział HR, który jest po prostu w tym lepszy.

Czego się uczyć?

Mam wrażenie, że podczas spotkań (rekrutacji) coraz mniej osób pyta jak zdobyć wiedzę, co mogą poprawić, jaka jest poprawna odpowiedź na zadane pytanie. Dzisiejszy świat dostępu do informacji jest zupełnie inny niż 15 lat temu i można z tego skorzystać. Jest masa spotkań lokalnych (zapraszam do kalendarza, teraz odbywających się online), konferencji w Polsce, a konferencje za granicą stały się łatwiej dostępne. A nawet jeśli nas nie stać na wyjazd, poświęcenia dnia pracy, to jest masa nagrań z konferencji w Internecie (Boiling Frogs, PHPCon Poland, WebSummerCamp) czy podcasty. Może w tej chwili nie użyjesz technologii, o której usłyszysz na konferencji. Ale przy rozpoczęciu następnego projektu okaże się, że znasz idealne narzędzie do rozwiązania tego problemu?

Czytaj dalej tutaj (rozwija treść wpisu)
Czytaj dalej na blogu autora...

Autor wpisu: matipl, dodany: 24.04.2020 10:56, tagi: php, technologie

Spora część z nas, osób pracujących w IT ograniczyła ilość spotkań, udział w konferencjach czy lokalnych spotkaniach. Dlatego tym bardziej cieszy mnie, że pojawia się w Sieci coraz więcej materiałów wartych uwagi, dzięki którym nie tylko początkujący w branży (programiści, testerzy, analitycy) mogą wiele się nauczyć i poznać inny punkt widzenia. Dzisiaj chcę zapoznać Was z 2 interesującymi osobami, a raczej z ich działalnością w Internecie…

Mariusz Gil - Better Software Design

Mariusz Gil (Better Software Design)

Wydaje mi się, że Mariusza nie trzeba przedstawiać – programista wywodzący się z PHP, architekt oprogramowania, obecnie „opowiada” o DDD. W kwietniu rozpoczął nowy projekt – podcast Better Software Design. Jest to podcast o architekturze, szczegółach implementacyjnych, problemach życia codziennego projektów widziany trochę z wyższej półki, opowiedziane przez osoby ze sporym dorobkiem zawodowym. Jest on prowadzony w formie wywiadów. Obecnie ukazały się 4 odcinki, które krążą wokół DDD (Domain-Driven Design) i wydajności. Jest to wyśmienite uzupełnienie szkoleń organizowanych przez Bottegę, czy ścieżki Bottega IT minds na konferencji 4Developers, na których Mariusz i inne osoby z Bottegi dzielą się swoim doświadczeniem z walki w dużych projektach.

Ola Kunysz - O jakości dla programistów

Ola Kunysz (podcast & vlog)

Ola jest programistką, z wieloletnim doświadczeniem w branży, z bardziej Javowej strony. Mogliście ją już posłuchać na licznych konferencjach, gdzie udzielała się jako prelegentka (np. Boiling Frogs, Wrocław JUG, Sphere.IT). Od pewnego czasu dzieli się swoim doświadczeniem, spojrzeniem na oprogramowanie tworząc podcast „O jakości dla programistów”, a bardziej regularnie jest aktywna na YouTube. Tam też (na YT) od kilku dni ukazuje się vlog Oli – serdecznie polecam. Porusza tematy zaczynając od procesu rekrutacji w firmach kończąc na pasji, perfekcjonizmie. Bardzo wartościowe uwagi szczególnie dla twórców oprogramowania z krótkim stażem, ale również wieloletni ludzie z branży znajdą coś dla siebie.

Również SegFault stara się wystartować z własnymi audycjami, ale na razie powstał tylko 1 odcinek w ramach „segfault audio”. Mam nadzieję, że będzie więcej.

Artykuł Podcasty: Mariusz Gil (Better Software Design) & Ola Kunysz (O jakości) pochodzi z serwisu Mateusz matipl Kamiński.

Autor wpisu: JoShiMa, dodany: 21.04.2020 04:25, tagi: skrypty

Wspominałam, że pracuję nas schedulerem w aplikacji opartej o framework web2py. Tak jak obiecałam, napiszę o tym wkrótce. Tymczasem musiałam rozwiązać inny problem związany z tym zagadnieniem. Wspomnę tylko, że aby zadania schedulera działały, trzeba uruchomić odpowiedni worker, który pracuje w tle i zażąda uruchamianiem zdefiniowanych w bazie zadań. Można oczywiście worker uruchamiać ręcznie, ale ... Czytaj dalejUruchamianie aplikacji python jako usługi w systemie Windows
Wszystkie wpisy należą do ich twórców. nie ponosi odpowiedzialności za treść wpisów.