Blog Marcina Bojko

Linux,Windows,serwer, i tak dalej ;)

Posts Tagged ‘servers

Puppet & The Foreman & Powershell DSC – The Road So Far.

During last few weeks I was able to push and heavy test puppet-dsc code in a lots of environments and setups.

We had sysprepped Windows Server 2012 R2 images (different versions, builds and setups), a lots of Windows 10 Professional Workstations (Original, 1511, 1607 builds), few Windows 8.1 Pro – really great statistic sample.

As for now:

  • Windows Server 2012 and Windows 2012 R2 – fully supported
  • Windows 8.1/10 (original)/10 (1511) – fully supported
  • Windows Server 2016/Windows 10 (1607) – unsupported due to parsing bug in Powershell 5.1 – Work in progress
  • Windows 7/8 – not tested
  • Windows 2008 R2 – not tested

Implemented modules:

  • Chocolatey – with features and sources support (adding, removing, modyfing)
  • DSC_WindowsFeature
  • DSC_WindowsOptionalFeature
  • DSC_Service
  • DSC_Environment
  • DSC_Group
  • DSC_xFirewall
  • DSC_Reboot

More code is coming, but this fine set allows you to deploy and manage a lots of types of servers and workstations.

Written by marcinbojko

7 października, 2016 at 19:47

Puppet & The Foreman & Powershell DSC – your System Center in a box :)

Few weeks ago I started a little project – complete Puppet module called: win_manage.

My goal was to manage Windows based machines almost as easy as Linux servers, as little code inside as possible (you know, I am not a developer in any kind). And when I was thinking: KISS is no more possible with this project, I’ve found Puppet Powershell DSC module:

Adding another resources it is just a breeze, the biggest part of work was to test almost every setting provided by Microsoft, to have working examples in day-to-day SysAdmin/DevOP job.

And yes, I know – we have plenty of things like this, sold with different price plans, different support plans and so on. But if you cannot afford pricey tools like Puppet Enterprise or System Center 2012 R2 in your environment, this little project comes to help you 🙂

First things first – why?

  1. We have excellent granularity using Puppet and Foreman architecture without complicated AD GPO with filters.
  2. Nested groups/copying groups helps so much in creating cloned environment
  3. It doesn’t matter what provider do you use: physical, virtual, VMWare,Hyper-V, Azure – it just works.
  4. With additional modules like Chocolatey and our private sources (and private CDNs) the story is completed – no more AD MSI voodoo stuff. Software deployment and maintenance just got really better.
  5. One is is to deploy, second thing is to maintain and manage. Securing running services or making permanent changes in your environment is as much important as just deploy them.
  6. No more ‚just another script’ approach.
  7. Everyone can afford simple machine with simple YAML examples 😉

So my work in progress looks just like this:




Host Groups


Parameters to set

We love YAML driven configuration: setting users, rules, applications is just as easy as writing very light code:

Setting registry:

 dsc_valuename: Password
 dsc_valuedata: af af af af af af af af
 dsc_valuetype: binary
 dsc_valuename: ControlPassword
 dsc_valuedata: af af af af af af af af
 dsc_valuetype: binary

Adding features:

 dsc_ensure: present
 dsc_name: Web-Server
 dsc_includeallsubfeature: true
 dsc_ensure: present
 dsc_name: DSC-Service

Installing and maintaining latest version of packages:

 ensure: latest
 ensure: latest
 ensure: latest
 ensure: latest

So, what to do next? I will be adding additional DSC Resources to module and hopefully will be able to make it public. Stay tuned and keep your fingers crossed 😉


Written by marcinbojko

4 października, 2016 at 19:11

Compacting Virtual Disks in System Center Virtual Machine Manager 2012 R2 or Hyper-V 2012 R2

As we all know – disk space isn’t free. If you allocate disk space to your virtual machine, you always want to allocate proper, well-balanced size to shorten future downtimes. But what is proper and balanced you ask?  There is no short answer to this, but if you’re  IT person, you always will try to allocate more than is needed right at the moment.  The decision is : should I use static or dynamic disks?

For me, there is no really need to use static disks anymore as there is no real speed difference. So, the real pro using dynamic disk is their smaller size.

In production environment, using Microsoft’s hypervisor, we can expect our VM to grow over time. During the nature of virtual machines and virtual disks, the real data machine uses are not the same numbers as virtual disk sizes. It is happening due to hypervisor behaviour – deleting all data from OS in virtual machine is no more than throwing away and index card from your book. The written data are still there, so there is no easy, automated way to compact a virtual disk.

Hypervisor however, tries to allocate in a first place, blocks marked as used. So the real expanding is happening when you’re constantly changing your data, without deleting them first. The great example is with databases, log and temporary trash disks and just plain and simple oversizing. I’ve had a case when relativly small machine (20 GB CentOS with a 600 GB VD) just grew over few days filling whole 600 GB of data because of logs set to DEBUG.

So what will be the cons and of virtual disk growing overtime?

  • obviously, more space allocated at expensive storage for VMs
  • more obviously, when you’re using any kind of backup software, you’re forced to write and store in multiple copies the data you really doesn’t need
  • CBT (Change Block Tracking) Table is bigger to process, with every move
  • more network traffic with every backup job you have
  • live ‚shared nothing’ migration times grows just out of proportions. If you have a small machine with 20GB data on 600 GB sized disk, you will have to transfer this whole fatso over you network to other machine. Even with compression set at live migration, it is just really unwanted.

So what can we do? We can just zero the data you’re not using and Hyper-v cmdlets  will take the rest.

You have to plan downtime for the machine, but according to my tests, zeroing machines with 600 GB took 15 to 30 minutes. With smaller sizes it is just matter of single minutes.

Before you go:
– plan your downtime, compacting should not to be interrupted
– take extra caution. Zeroing important data or uneeded data it’s just a matter of mistake.
– delete all snapshots/checkpoints
– make sure you converted VHD to VHDX (optional)
– make sure your disk is set as dynamic disk
– make sure you have enough room for compacting or resizing. Remember – if you have 600 GB virtual disk, during this process it may grow to this size.
– remember that compacting deletes CBT table for backup software – next backup will be a Full Backup.

The most usable zeroing ways I found was:

Offline methods

– longer downtime
– more accurate (no more background write)
– faster (no more background write)
– smaller risk of processes failure due to ‚out of space’ event

  • zerofree for Linux ext2/ext3/ext4 disks
  • ntfswipe for Windows based disks
  • dd for both Linux and Windows based disks or exotic fs (btrfs/xfs)

Online methods
– less accurate (background write  is still happening)
– machines became slower or unresponsible
– slower process
– risk of applications failing due to ‚out of space’ events
– smaller downtime

– SDelete or CCleaner for Windows based disks
– dd for Linux based disks


Phase I – Zeroing Offline

Offline zeroing (done with System Rescue CD 4.x)

  • Delete all uneeded data (logs, temps, bigfiles, dowloads, caches)
  • Umount all ext2/3/4/ntfs volumes
  • for NTFS volume: ntfswipe -av /dev/volume_name
  • for ext2/3/4 volume: zerofree -v /dev/volume-name
  • for LVM: vgchange -a y;zerofree -v /dev/mapper/volume_name
Zeroing swap space:
# swapoff -a

# free
total used free shared buffers cached
Mem: 8056340 2643132 5413208 155072 606916 914796
-/+ buffers/cache: 1121420 6934920
Swap: 0 0 0

# blkid |grep swap
/dev/sdb2: UUID="adad0488-3b67-4444-b792-6a1a775b8821" TYPE="swap"
# dd if=/dev/zero|pv -treb|dd of=/dev/sdb2 bs=8192
dd: error writing ‘/dev/sdb2’: No space left on device
1,91GB 0:01:04 [30,3MB/s]
249981+4 records in
249980+4 records out
2047868928 bytes (2,0 GB) copied, 67,931 s, 30,1 MB/s

#mkswap /dev/sdb2 -U "adad0488-3b67-4444-b792-6a1a775b8821"
Setting up swapspace version 1, size = 1999868 KiB
no label, UUID=adad0488-3b67-4444-b792-6a1a775b8821
# swapon -a

# free
 total used free shared buffers cached
Mem: 8056340 3309648 4746692 159844 1112232 919708
-/+ buffers/cache: 1277708 6778632
Swap: 1999868 0 1999868

Phase I – Online zeroing

1. Delete all uneeded data (logs, temps, bigfiles, dowloads, caches)

for Windows machine
sdelete -z letter:

Linux machine
#dd if=/dev/zero|pv -treb|dd of=/ bs=4096;sync;sync;rm -rfv /;sync

Phase II – Compacting

1. Shutdown the machine

For System Center VMM 2012 R1/R2

Workspace 1_107
For Hyper-V powershell

Optimize-VHD -Path path_to_vhdx_file.vhdx -Mode Full


Workspace 1_108
System Rescue CD –
SDelete –
CCleaner Portable –
zerofree –

Written by marcinbojko

3 sierpnia, 2014 at 13:10

Bezpieczeństwo urządzeń drukujących

Dziś parę słów o urządzeniach, na które większość z nas nie zwraca większej uwagi: mianowicie urządzenia drukujące, drukująco-skanujące (MFP/MFD – Multi Function Printer/Multi Function Device) oraz popularne kserokopiarki. Przyzwyczajeni do tego, iż z wyjątkiem uciążliwych zacięć papieru oraz uzupełniania materiałów eksploatacyjnych niewiele się z nimi dzieje, przespaliśmy epokę, w której urządzenia te stały się tak samo skomplikowane jak komputery z których drukujemy.

Z uwagi na specyfikę pewnych firm (zwłaszcza w PL), opartych wciąż na przetwarzaniu papierowych wydruków, urządzenie takie często stanowi centrum nerwowe spółki. Ze stopniem skomplikowania idzie niestety podatność na ataki, exploity oraz nadużycia, które podzielić możemy na 3 podstawowe grupy.

Pierwsza z wymienionych grup to właśnie włamania i exploity wykorzystujące fakt, iż urządzenia drukujące korzystają ze zmodyfikowanych popularnych pakietów (zarówno o kodzie otwartym jak i zamkniętym) jak: Apache, Lighttpd, Java, PHP czy też ogólnie dostępne silniki bazodanowe. Wszystkie te wymienione pakiety możemy chociażby spotkać podczas korzystania z paneli lub konsol sterujących dla wskazanych urządzeń. Opieranie się na gotowym kodzie niesie za sobą niebezpieczeństwo wystąpienia błędów, które z uwagi na społecznościowy charakter oprogramowania open-source, są szybko wychwytywane i ujawniane publicznie. Cykl wytwarzania oprogramowania open-source pozwala na szybszą reakcję w celu korektę błędu, podczas gdy w przypadku oprogramowania funkcjonalnego o zamkniętym kodzie (jak np. firmware urządzeń drukujących), do czasu załatania błędów przez producenta, jesteśmy narażeni na ataki i exploity.

Na jakiego dokładnie typu zagrożenia jesteśmy narażeni?

Zdobycie hasła administracyjnego w urządzeniu pozwala na zmianę wszystkich parametrów procesu drukowania: złośliwe strony z bannerami, zmiana parametrów wydruku (kolor/odcienie szarości), zmiana rozdzielczości, zmiana ACL dla określonych IP, zmiana adresów e-mail lub ustawień serwera SMTP skojarzonego z kontem urządzenia drukującego. W kilku określonych przypadkach zdobycie dostępu do urządzenia może również spowodować zdobyciem dostępu do panelu serwisowego, gdzie zmiany dokonane przez atakującego mogą być o wiele bardziej bolesne. Istnieją udokumentowane przypadki gdy za pomocą zmiany parametrów serwisowych napastnik był w stanie doprowadzić do uszkodzenia urządzenia (sterowanie temperaturą nagrzewania)

W przypadku wdrożonych systemów autoryzacji i rozliczeń (Authorisation and Accounting), atakujący może na przykład wpłynąć na zmianę raportów o ilości wydrukowanych stron i dokumentów w rozbiciu na poszczególnych użytkowników. Łatwo można sobie reakcję kontrolującego, jeżeli na koncie któregoś z użytkowników pojawią się nazwy zadań drukowania o swojsko brzmiących nazwach bestselerów czytelniczych.

Dostęp do panelu serwisowego niesie za sobą również inne zagrożenia – część znanych mi urządzeń MFP/MFD posiada opcję ‚mirror’, czyli wysyłania WSZYSTKICH zadań, czy to wydruku, czy to skanów, na wskazany adres serwera FTP/SMB. Napastnik, wykorzystując hasło domyślne urządzenia, lub przechwytując hasło administracyjne, ustawiając prostą i dobrze udokumentowaną funkcję zapewnia sobie dostęp do wszystkich dokumentów przepływających prze wskazane urządzenie. Dotyczy to zarówno wydruków, skanów oraz popularnych kopii.

Popularny, prosty w przeprowadzeniu i stosunkowo trudny w diagnozie atak typu DoS pozwala na zatrzymanie pracy urządzenia, podczas gdy jedynym rozwiązaniem wyjścia z impasu okazuje się restart urządzenia.

Drugi typ zagrożeń jaki pojawia się przy urządzeniach drukujących ma na celu, oprócz unieruchomienia urządzenia, spowodowanie jak największych strat dla właściciela urządzenia. Nie jest tajemnicą, iż koszty materiałów eksploatacyjnych potrafią być bardzo wysokie, zwłaszcza w przypadku kolorowych urządzeń wielkoformatowych posiadających dodatkowe banki na papier. Bardzo popularną formą „outsource” dla urządzeń drukujących jest tzw. CPC (Cost Per Copy), gdzie w opłacie za każdą wydrukowaną czy zeskanowaną stronę użytkujący płaci firmie wynajmującej zryczałtowaną opłatę. Opłata zawiera w sobie przykładowo: koszt materiałów eksploatacyjnych w tym materiałów mechanicznych, jak rolki czy pasy transferowe, koszt elementów serwisowych (parts & labour), SLA itp. Umowy takie często zawierają klauzule o wyłączeniu odpowiedzialności właściciela urządzenia przy przekroczeniu średniego pokrycia strony (zazwyczaj od 2 do 8%).
W przypadku braku ograniczenia dostępu łatwo można doprowadzić do efektu gdzie dowolna osoba uruchomi zapętlone wydruki np. zdjęć w wysokiej rozdzielczości czy też wydruków próbnych (z reguły posiadających sporą gamę kolorów), błyskawicznie wyczerpując zarówno materiały eksploatacyjne (w tym wspomniane pasy transmisijne) jak i papier. W wysoko zautomatyzowanych środowiskach, gdzie oba te czynniki podlegają automatycznemu uzupełnianiu, raporty ze zużycia drukowane są np. w systemie miesięcznym, brak kontroli nad tym czynnikiem może narazić nas na spore straty.

Trzeci typ zagrożeń dotyczy dostępu do przetwarzanych treści.
– dostęp do fizycznego urządzenia, gdzie dowolna osoba może zapoznać się z treścią przetwarzanego dokumentu
Na nic najwymyślniejsze systemy zabezpieczeń w sytuacji gdy wiele osób lub działów używa tej samej puli urządzeń drukujących. Od momentu zlecenia wydruku, do momentu fizycznego odbioru zadrukowanych kartek potencjalnie dowolna (nawet postronna) osoba może dostać się do naszych danych. Bardzo częstym przypadkiem jest ustawianie urządzeń drukujących w miejscach, przez które przewija się spora ilość osób: sekretariat, recepcja, korytarz, sala konferencyjna.
– dostęp do nie zabezpieczonej sieci, w której atakujący może przechwycić dane wysłane do urządzenia drukującego.
W znakomitej większości urządzeń drukujących wystarczy przechwycić plik RAW skierowany do wydruku aby za pomocą oprogramowania rasteryzującego lub identycznego urządzenia zapoznać się z treścią wydruku.
– dostęp do kont użytkownika (boxes) zakładanych na urządzeniu.
Urządzenia MFP/MFD pozwalają na nieskomplikowane zarządzanie użytkownikami poprzez zakładanie im tzw. kont użytkownika (boxes). Brak autoryzacji powoduje iż dowolny inny użytkownik jest w stanie przejrzeć zawartość wskazanego konta, historię wydrukowanych plików, w znakomitej większości również cały bufor wydruku (przechowywany zazwyczaj na dedykowanym HDD)
– dostęp do haseł czy numerów PIN lub kart identyfikacyjnych innych użytkowników.
W przypadku używania kont użytkowników zabezpieczonych jedno lub dwucyfrowym pinem, ogólnie znanym numerem identyfikacyjnym kojarzonym z określoną osobą (PESEL), bardzo łatwo jest podszyć się pod wskazaną osobę, uruchamiając następnie bardziej wymyślne ataki.
– dostęp do skanów wysyłanych na ogólnodostępne foldery wymiany.
Jeden z popularnych błędów – ogólnodostępny folder wymiany (SMB/WIndows Share/FTP)na który wędrują wszystkie skany w myśl zasady ‚ja tak szybciutko, zaraz usunę, nikt się nie zorientuje’. Nasz podsłuchujący, posiadający prawo do odczytu dla wskazanego folderu ma wiele sposobów na skopiowanie zawartości – cyklicznie wykonywany skrypt, element wykorzystujący flagę ‚on folder change’

Równie popularny, oraz bardzo prosty sposób na zablokowanie urządzenia to … próba wykonania kopii banknotu (euro lub dolara). Tajemnicą poliszynela jest, iż urządzenia takie mają wbudowane zabezpieczenia przed zbyt dokładnym kopiowaniem zabronionych dokumentów (do których należą banknoty). W ten sposób głupi pomysł zostawi nam urządzenie zablokowane, często niezdatne do dalszej pracy bez dodatkowych zabiegów ze strony producenta.

Gdy już wiemy na jakie zagrożenia jesteśmy narażeniu postarajmy się zaprojektować bezpieczniejsze środowisko pracy naszych urządzeń drukujących.

Kontrola dostępu do fizycznego urządzenia

– secure room/copy room (Bezpieczne pomieszczenie)

Jeżeli mamy taką możliwość, urządzenia drukujące powinny być odizolowane od osób postronnych (goście, petenci) w postaci wydzielonego pomieszczenia z kontrolą dostępu. Wspomniana wyżej sytuacja, gdzie z racji braków lokalowych urządzenia stoją na korytarzach, są jawnym naruszeniem zasad bezpieczeństwa.

– jedno urządzenie per pomieszczenie zamiast kilku mniejszych.
Popularny mit zwłaszcza w instytucjach jak urzędy państwowe – każdy z urzędników po prostu musi mieć swoją drukarkę. Tymczasem tak naprawdę wystarczy jedno urządzenie sieciowe umieszczone centralnie w pomieszczeniu, tak by nie istniała konieczność porzucenia na pastwę petenta swojego stanowiska pracy. Co w przypadku gdy każdy z urzędników chce mieć swój wzór papieru lub dokumentu? Urządzenie wyposaża się w dodatkowe kasety lub banki papieru, co wciąż jest rozwiązaniem bardziej oszczędnym niż oddzielne urządzenie drukujące.

– blokada fizycznych przycisków i panelu sterującego
Z rozwojem urządzeń drukujących coraz więcej ustawień daje się wprowadzać za pomocą fizycznych przycisków lub paneli. CO więcej, spora część opcji serwisowych z domyślnymi hasłami jest dostępna w ten sposób. Oprócz oczywistych możliwości do zamiany ustawień urządzenia istnieje realne niebezpieczeństwo jego uszkodzenia poprzez ingerencję w parametry serwisowe (jakim są np. temperatury urządzeń utrwalających)

– stworzenie kont użytkownika z uwierzytelnieniem za pomocą kart aktywnych, PIN lub danych z serwera LDAP.
Bardzo przydatna opcja w przypadku gdy chcemy zabezpieczyć się przed nadużyciami lub wprowadzić rozliczenie ilości i jakości wydrukowanych materiałów w podziale na użytkownika czy dział. Dodatkowo, scentralizowana baza danych zabezpieczy nas przed dodatkową pracą utrzymywania i synchronizacji kolejnych baz.
– automatyczne wylogowywanie z nieużywanych profili i kont użytkownika
W przeciwnym wypadku kolejny użytkownik jest niemalże kuszony opcją skorzystania z ustawień poprzednika.

– włączenie opcji „follow me printing”
Bardzo przydatna opcja w przypadku gdy materiały wydrukowane powinny być dostępne TYLKO dla wskazanej osoby. W przypadku skorzystania z tej opcji możemy zrealizować zadanie drukowania bez żadnych dodatkowych ustawień, wydruk zostanie rozpoczęty dopiero po fizycznym uwierzytelnieniu się na wskazanym urządzeniu z puli. Pozwala nam to na zachowanie poufności drukowanych materiałów bez ekspozycji tychże w pojemniku z zakończonymi wydrukami.

Kontrola dostępu do interfejsu sieciowego

– wydzielenie oddzielnego VLAN dla urządzeń drukujących i przyznawanie dostępu ACL na poziomie komputerów lub użytkowników
Jest to chyba podstawowa opcja jaką należy zastosować w celu ochrony drukowanych danych. W połączeniu z serwerami (lub serwerem) wydruku pozwoli nam na zrealizowanie zasad bezpieczeństwa w prostszy sposób:
– dostęp do kolejek drukowania mają tylko uwierzytelnieni klienci
– drukarkami zarządzamy np. za pomocą Active DIrectory – dostęp do nowego urządzenia i jego instalacja wymaga w zasadzie tylko przeładowania profilu.
– serwer wydruku może swobodniej, bez indywidualnych ACL sięgać do interfejsów sieciowych urządzeń drukujących
– dla klientów Windows i Active Directory można zbudować bezpieczniejsze kanały kontaktu z serwerem wydruku (IPSec) co uniemożliwi podsłuch i możliwość przechwycenia i analizy wydruków.

Kontrola i analiza wydruków.
– dodatkowe oprogramowanie
W zależności od stopnia skomplikowania możemy powierzyć zliczanie stron serwerowi wydruku, lub zdecydować się na dodatkowe oprogramowanie. Warto wspomnieć iż większość urządzeń przechowuje informacje o wolumenie wydruku w podziale na użytkowników, jednak przy ich większej ilości niezbędne jest ręczne podsumowanie.
Na korzyść dodatkowego oprogramowania można zaliczyć fakt, iż w odróżnieniu od serwera wydruku, rozliczaniu w podziale na użytkowników podlegają również kopie wykonywane lokalnie na urządzeniu (off the glass), skany i wydruki niestandardowe (bannery, wydruki 2-kolorowe itp.)
Przykładem takiego oprogramowania może być popularny serwer wydruku PaperCut – dostępny również w wersji darmowej dla 15-użytkowników.

Written by marcinbojko

9 września, 2013 at 08:20

Cykl artykułów na blogu AVG – Co musisz wiedzieć o backupie danych? Część 2

Written by marcinbojko

27 czerwca, 2013 at 19:03

Cykl artykułów na blogu AVG – zachęcam do przejrzenia. Część I – Co warto wiedzieć o wykonywaniu kopii zapasowych.

Część I –

Written by marcinbojko

19 czerwca, 2013 at 19:52

SmartArray, CLI, Linux i jak tu zbadać jaki RAID mamy ?

Kiedyś trafiłem na denerwujący problem – mając dostęp tylko do konsoli serwera opartego na Debianie, musiałem zbadać jaki RAID  działa na nim. Serwer oczywiście HP – co niejako pod Linuxem inklinuje użycie drivera CCISS – Dodam że driver zaszyty jest we wszystkich supportowanych przez ejczpi dystrybucjach, oraz wielu nie supportowanych (Debian 5.0 bez żadnego problemu obsługuje starsze SmartArray’e).

Z pomocą przychodzi narzędzie array-info – dostępne razem z driverem cciss – a więc dostępne również w systemie po instalacji tegoż.

Wynik ?

serwer:/dev/cciss# array-info -d /dev/cciss/c0d0 -A
Unknown Controller id 0x409c0e11
Firmware revision : 2.84
Rom revision      : 2.84
1  logical drive configured.
Logical drive  0 :
Fault tolerance : RAID 5
Size            : 271.33 GiB (569018880 blocks of 512 bytes)
Status          : Logical drive is ok
Spare           : Not configured


Written by marcinbojko

7 stycznia, 2011 at 10:20

Napisane w open source

Tagged with , , , , ,

%d blogerów lubi to: