Niezalogowany [ logowanie ]
Subskrybuj kanał ATOM Kanał ATOM

Autor wpisu: Wojciech Sznapka, dodany: 24.09.2020 21:26, tagi: php

Apache Kafka has became an obvious choice and industry standard for data streaming. When streaming large amounts of data it’s often reasonable to use AVRO format, which has at least three advantages:

  • it’s one of most size efficient (compared to JSON, protobuf, or parquet); AVRO serialized payload can be 10 times smaller than the JSON equivalent,
  • enforces usage of a schema,
  • works out of the box with Kafka Connect (it’s a requirement if you’d like to use BigQuery sink connector).

Let’s see how to send data to Kafka in AVRO format from PHP producer, so that Kafka Connect can parse it and put data to sink.

I assume you know the basics of AVRO and Schema Registry, but if not – let me know in the comments, I’d be happy to help with setting up Schema Registry! Footnote: the easiest way is it, is to use Confluent’s official Docker image and deploy it on Kubernetes.

In order to use PHP producer which will serialize payloads in AVRO, we need to send it in a particular „envelope”, which contains schema ID. This way Kafka Connect will know which schema should be retrieved from Schema Registry.

Let’s consider, that our PHP Kafka producer will send simple payload:

$data = [
  'time' => '2020-09-24 20:45:00',
  'level' => 'info',
  'channel' => 'main',
  'message' => 'Some log entry has been produced',
];

First of all, you need to create an AVRO schema for that. You can get one by using number of tools available online, like this.

Our AVRO schema will look like this:

$schema = <<<SCHEMA
{
  "name": "LogEntry",
  "type": "record",
  "namespace": "pl.sznapka",
  "fields": [
    {
      "name": "time",
      "type": "string"
    },
    {
      "name": "level",
      "type": "string"
    },
    {
      "name": "channel",
      "type": "string"
    },
    {
      "name": "message",
      "type": "string"
    }
  ]
}
SCHEMA;

Next step is to register our AVRO schema in Schema Registry and obtain its ID. You can either call Schema Registry API directly or use PHP library flix-tech/confluent-schema-registry-api (which I recommend).

Note – you should register your schema under Kafka topic name with suffix ‚-value’

$kafkaTopicName = 'logs';
$subject = $kafkaTopicName . '-value';
$schemaRegistry->register($subject, \AvroSchema::parse($schema));

Once your schema is in the Schema Registry you need to retrieve ID for your subject:

Czytaj dalej tutaj (rozwija treść wpisu)
Czytaj dalej na blogu autora...

Autor wpisu: matipl, dodany: 27.04.2020 15:43, tagi: php

W zeszłym tygodniu wspomniałem m.in. o spostrzeżeniach jakimi dzieli się Ola Kunysz. W drugim vlogu zatytułowanym „Wstyd się przyznać do niewiedzy?” poruszyła ona temat rekrutacji w IT z punktu widzenia rekrutera. Bardzo dobre pogaduchy, ale zatrzymałem się myślami nad:

Znacie pewnie te rozmowy rekrutacyjne, na których ktoś pyta: jak wywołać Garbage Collector?

Czy, aby na pewno jest to pytanie z „podręcznika dobrych pytań na rozmowę rekrutacyjną?” Nie sądzę, ponieważ takiego podręcznika nie mam (a jest dostępny?), a zdarza mi się pytać o bardziej niskopoziomowe sprawy… I tak zastanawiając się nad tym pytaniem zdałem sobie sprawę, że nie dzieliłem się tutaj sprawami dotyczącymi rekrutacji. Od ponad 10 lat w różnych firmach wcielam się w rolę rekrutera. Masa doświadczenia za mną. Po latach wiem na pewno jakiej osoby szukam i to bez znaczenia na stanowisko (absolwent, osoba starająca się przekwalifikować, programista z kilkuletnim doświadczeniem, architekt itd.).

Osoba z pasją

Kogo szukam? Osoby z pasją, której błyszczą się oczy, gdy tylko mówi o tym co lubi robić. Pasją w tej chwili nie musi być IT, możesz być na początku swojej drogi w IT, jako programista, mieć naprawdę małe doświadczenie, ale w trakcie luźnej rozmowy da się wyczuć, że jesteś osobą ambitną, lubiącą rozwój i posiadasz odpowiedni sposób myślenia, kojarzenia faktów.

Ponieważ technologie, biblioteki, języki czy znajomość dobrych praktyk programistycznych (np. wzorce, psr-y) są to rzeczy nabyte. Jeśli posiada się otwarty umysł na wiedzę, chęć rozwoju (i nie mówię tutaj o szumnych zapowiedziach, ale faktycznych działaniach) to z czasem taka osoba może wszystko nadrobić i stać się nawet liderem w zespole. Mógłbym tutaj przytoczyć masę historii osób, które teraz są świetnymi programistami, rozwiązującymi skomplikowane zagadnienia. A na rekrutacji były to osoby zasiedziałe w firmie jednego projektu, gdzie zajmowały się od lat wyłącznie utrzymaniem, lub osoby, które ogarniały w firmie wszystko z małą ilością czasu na programowanie. Oczywiście, zdarzały się osoby znakomite pod względem doświadczenia już na rekrutacji, ale cześto pojawiały się na rozmowie, bo w obecnym miejscu były redukcje. Jak również znam kilka osób, które widziałbym w IT, a teraz są zupełnie w innych branżach. Wiem, że rewelacyjnie poradziliby sobie jako analitycy czy programiści, widzę podczas rozmów jak rozwiązują pewne zagadnienia, łącza fakty… ale nie widzą się w IT. Szkoda.

PHPCon Poland 2015 - gadżety

Trudne pytania?

Czy nieraz pojawia się pytanie o OpCache? W jaki sposób i gdzie PHP przechowuje dane, czy da się coś zoptymalizować w konfiguracji, czy pisało się własne rozszerzenia w C. Tak – pojawiają się takie pytania, ponieważ projekty są różne i różne jest zapotrzebowanie kadrowe. Ale nie zrażaj się takimi pytaniami. Nie wiesz i tyle, wiedza rzecz nabyta tylko o tym powiedz. Inną kwestią jest co zrobisz ze swoją niewiedzą po spotkaniu? Poprosisz o maile z podsumowaniem, czego nie wiedziałeś, sam poszukasz w Internecie odpowiedzi, douczysz się dla samego siebie… Czy stwierdzisz – co za głupia rekrutacja, po co mam to wiedzieć…

Rozmowa

Rozmawiam o wszystkim. Moim punktem startu, jest to co otrzymam od kandydata. Nieraz się zdarza, że poza pytania dotyczące CV w ogóle nie wychodzimy, ponieważ jest interesujące (nie tylko sprawy z IT), są miejsca, których można się „uczepić” (np. Raspberry Pi). Gdy czasami CV jest ubogie, i po 2-3 pytaniach nie mamy o czym rozmawiać to zaczynam zadawać pytania ogólne dotyczące rozwiązywania problemów. Nie są to pytania o algorytmy, wiedzę stricte uniwersytecką, ale o życiowy projekt i problem jaki się tam zdarzył lata temu. Jakbyś go rozwiązał? Gdy wiem lub czuję, że to osoba z całą teczką wykonanych projektów, z niesamowitą ilością problemów, które spotkała w IT zadaje kilka pytań związanych z dzisiaj używanymi technologiami i tyle. Koniec, kropka w notatce ze spotkania…

To jest rozmowa, techniczna, ale rozmowa. Zdarza się nieraz, że w trakcie rozmowy odkrywam, że dana osoba ma predyspozycje do pracy zdalnej lub samodzielnego projektu, niż pracy w zespole kilkuosobowym. Ale najczęściej sprawami dotyczących kompetencji tzw. miękkich zajmuje się dział HR, który jest po prostu w tym lepszy.

Czego się uczyć?

Mam wrażenie, że podczas spotkań (rekrutacji) coraz mniej osób pyta jak zdobyć wiedzę, co mogą poprawić, jaka jest poprawna odpowiedź na zadane pytanie. Dzisiejszy świat dostępu do informacji jest zupełnie inny niż 15 lat temu i można z tego skorzystać. Jest masa spotkań lokalnych (zapraszam do kalendarza, teraz odbywających się online), konferencji w Polsce, a konferencje za granicą stały się łatwiej dostępne. A nawet jeśli nas nie stać na wyjazd, poświęcenia dnia pracy, to jest masa nagrań z konferencji w Internecie (Boiling Frogs, PHPCon Poland, WebSummerCamp) czy podcasty. Może w tej chwili nie użyjesz technologii, o której usłyszysz na konferencji. Ale przy rozpoczęciu następnego projektu okaże się, że znasz idealne narzędzie do rozwiązania tego problemu?

Czytaj dalej tutaj (rozwija treść wpisu)
Czytaj dalej na blogu autora...

Autor wpisu: matipl, dodany: 24.04.2020 10:56, tagi: php, technologie

Spora część z nas, osób pracujących w IT ograniczyła ilość spotkań, udział w konferencjach czy lokalnych spotkaniach. Dlatego tym bardziej cieszy mnie, że pojawia się w Sieci coraz więcej materiałów wartych uwagi, dzięki którym nie tylko początkujący w branży (programiści, testerzy, analitycy) mogą wiele się nauczyć i poznać inny punkt widzenia. Dzisiaj chcę zapoznać Was z 2 interesującymi osobami, a raczej z ich działalnością w Internecie…

Mariusz Gil - Better Software Design

Mariusz Gil (Better Software Design)

Wydaje mi się, że Mariusza nie trzeba przedstawiać – programista wywodzący się z PHP, architekt oprogramowania, obecnie „opowiada” o DDD. W kwietniu rozpoczął nowy projekt – podcast Better Software Design. Jest to podcast o architekturze, szczegółach implementacyjnych, problemach życia codziennego projektów widziany trochę z wyższej półki, opowiedziane przez osoby ze sporym dorobkiem zawodowym. Jest on prowadzony w formie wywiadów. Obecnie ukazały się 4 odcinki, które krążą wokół DDD (Domain-Driven Design) i wydajności. Jest to wyśmienite uzupełnienie szkoleń organizowanych przez Bottegę, czy ścieżki Bottega IT minds na konferencji 4Developers, na których Mariusz i inne osoby z Bottegi dzielą się swoim doświadczeniem z walki w dużych projektach.

Ola Kunysz - O jakości dla programistów

Ola Kunysz (podcast & vlog)

Ola jest programistką, z wieloletnim doświadczeniem w branży, z bardziej Javowej strony. Mogliście ją już posłuchać na licznych konferencjach, gdzie udzielała się jako prelegentka (np. Boiling Frogs, Wrocław JUG, Sphere.IT). Od pewnego czasu dzieli się swoim doświadczeniem, spojrzeniem na oprogramowanie tworząc podcast „O jakości dla programistów”, a bardziej regularnie jest aktywna na YouTube. Tam też (na YT) od kilku dni ukazuje się vlog Oli – serdecznie polecam. Porusza tematy zaczynając od procesu rekrutacji w firmach kończąc na pasji, perfekcjonizmie. Bardzo wartościowe uwagi szczególnie dla twórców oprogramowania z krótkim stażem, ale również wieloletni ludzie z branży znajdą coś dla siebie.

Również SegFault stara się wystartować z własnymi audycjami, ale na razie powstał tylko 1 odcinek w ramach „segfault audio”. Mam nadzieję, że będzie więcej.

Artykuł Podcasty: Mariusz Gil (Better Software Design) & Ola Kunysz (O jakości) pochodzi z serwisu Mateusz matipl Kamiński.

Autor wpisu: JoShiMa, dodany: 21.04.2020 04:25, tagi: skrypty

Wspominałam, że pracuję nas schedulerem w aplikacji opartej o framework web2py. Tak jak obiecałam, napiszę o tym wkrótce. Tymczasem musiałam rozwiązać inny problem związany z tym zagadnieniem. Wspomnę tylko, że aby zadania schedulera działały, trzeba uruchomić odpowiedni worker, który pracuje w tle i zażąda uruchamianiem zdefiniowanych w bazie zadań. Można oczywiście worker uruchamiać ręcznie, ale ... Czytaj dalejUruchamianie aplikacji python jako usługi w systemie Windows

Autor wpisu: JoShiMa, dodany: 20.04.2020 15:28, tagi: framework

Web2py jest kompletnym frameworkem mieszczącym w sobie wiele poręcznych narzędzi ulokowanych w panelu administracyjnym. Znajduje się tam przede wszystkim, kreator aplikacji, który pozwala jednym kliknięciem stworzyć kompletną strukturę nowej aplikacji. Należy jednak pamiętać, że taka aplikacja będzie z definicji połączona z bazą SQLite. Jeśli tuż po utworzeniu, nie modyfikując ustawień aplikacji, uruchomimy ją zostanie wykonana ... Czytaj dalejWeb2py – automatyczne tworzenie tabel systemowych w nowej aplikacji.

Autor wpisu: JoShiMa, dodany: 19.02.2020 22:34, tagi: framework

Czasem zdarza się, że dysponujemy gotową albo w jakimś tam stopniu ukończona aplikacją Django i musimy ją uruchomić w nowym środowisku. Dzieje się tak w co najmniej trzech przypadkach. Po pierwsze gdy swoją aplikację chcesz uruchomić na serwerze produkcyjnym. Po drugie kiedy zaczynasz współdzielić kod i ty albo twój współpracownik ma pobrać kod aplikacji z ... Czytaj dalejPrzygotowanie środowiska wirtualnego dla gotowej aplikacji Django

Autor wpisu: JoShiMa, dodany: 11.01.2020 18:09, tagi: sql

Kiedy pisze się aplikacje oparte na takich frameworkach jak web2py jest wiele rzeczy o które programista nie musi się martwić, szczególnie jeśli korzysta w pełni z wbudowanych mechanizmów, takich jak choćby smartgrid. To one odpowiadają na przykład za wczytanie danych z bazy i ich prezentację. Ostatnio jednak przyszło mi zrobić coś nieco ambitniejszego. Jeden z ... Czytaj dalejKodowanie znaków w MSSQL
Wszystkie wpisy należą do ich twórców. PHP.pl nie ponosi odpowiedzialności za treść wpisów.