Klíčové metriky v řízení incidentů | atlasský

V dnešním rychle se měnícím světě jsou poruchy a technické incidenty důležitější než kdy jindy. Chyby a prostoje mají skutečné důsledky. Zmeškané termíny. Zpoždění platby. Zpoždění v práci na projektech.

Proto je důležité, aby společnosti kvantifikovaly a sledovaly metriky doby provozuschopnosti, prostojů a toho, jak rychle a efektivně týmy řeší problémy.

Některé z nejběžněji sledovaných metrik v oboru jsou MTBF (střední doba mezi poruchami), MTTR (střední doba na opravu, opravu, odezvu nebo vyřešení), MTTF (střední doba do selhání) a MTTA (střední doba na potvrzení) – tyto metriky jsou navrženy tak, aby pomohly technickým týmům pochopit, jak často k incidentům dochází a jak rychle je tým dokáže vyřešit.

Mnoho odborníků diskutuje o skutečné užitečnosti těchto metrik, jsou-li používány izolovaně od jiných metrik, protože neodpovídají na složité otázky, jak se řeší incidenty, co funguje a co ne a jak, kdy a proč problémy eskalují nebo se zlepšují.

Na druhou stranu MTTR, MTBF a MTTF mohou být dobrým základem nebo měřítkem pro zahájení diskuse o hlubších a důležitějších otázkách.

Jak profesionálové reagují na velké incidenty

Získejte našeho bezplatného průvodce řízením incidentů. Prozkoumejte všechny nástroje a techniky, které Atlassian používá ke zvládání závažných incidentů.

Odmítnutí odpovědnosti za MTTR

Když mluvíme o MTTR, dalo by se předpokládat, že se jedná o jeden ukazatel s jednou hodnotou. Ve skutečnosti jsou za tím skryté důvody. čtyři různé ukazatele. „R“ může znamenat opravu, odezvu, vyřešení nebo obnovení, a přestože se tyto čtyři metriky překrývají, každý má svůj vlastní význam a vlastnosti.

Pokud tedy váš tým potřebuje sledovat MTTR, doporučuje se ujasnit si, co je MTTR myšleno a jak jej určit. Než začnete sledovat úspěchy a neúspěchy, váš tým musí mít společné pochopení toho, co přesně sledujete.

MTBF: Střední doba mezi poruchami

Jaká je střední doba mezi poruchami?

MTBF (střední doba mezi poruchami) je průměrná doba mezi opravitelnými poruchami technologického produktu. Tato metrika se používá ke sledování dostupnosti a spolehlivosti produktu. Čím delší je doba mezi poruchami, tím je systém spolehlivější.

Cílem většiny společností je udržet MTBF na co nejvyšší úrovni a dosáhnout statisíců (nebo dokonce milionů) hodin mezi incidenty.

Jak vypočítat střední dobu mezi poruchami

MTBF se vypočítá pomocí aritmetického průměru. V zásadě byste vzali data za období, pro které chcete vypočítat MTBF (může to být šest měsíců, rok nebo pět let) a vydělíte celkovou dobu provozuschopnosti za toto období počtem selhání.

Řekněme tedy, že vyhodnocujeme 24hodinové období a během tohoto období jsme ztratili dvě hodiny kvůli dvěma samostatným incidentům. Naše celková doba provozu je 22 hodin. Vydělíme dvěma a dostaneme 11 hodin. Takže naše MTBF je 11 hodin.

Protože se tato metrika používá ke sledování spolehlivosti, MTBF nebere v úvahu očekávané prostoje během plánované údržby. Místo toho se zaměřuje na neočekávané prostoje a problémy.

Původ pojmu střední doba mezi poruchami

MTBF má svůj původ v leteckém průmyslu, kde mají systémové poruchy obzvláště vážné důsledky nejen z hlediska nákladů, ale i lidských životů. Od té doby se tato zkratka dostala do různých technických a strojírenských odvětví a je zvláště často používána ve výrobě.

Jak a kdy použít střední dobu mezi poruchami

MTBF je užitečné pro kupující, kteří si chtějí být jisti, že dostávají nejspolehlivější produkt, létají na nejspolehlivějším letadle nebo vybírají nejbezpečnější výrobní zařízení pro svůj závod.

Interním týmům tato metrika pomáhá identifikovat problémy a sledovat úspěchy a neúspěchy. Může také pomoci společnostem vyvinout podrobná doporučení pro zákazníky, aby věděli, kdy by měli vyměnit díl, upgradovat systém nebo uvést produkt do servisu.

MTBF je metrika pro selhání v obnovitelné systémy. Pro poruchy, které vyžadují výměnu systému, se běžně používá termín MTTF (mean time to failure).

Představte si například motor auta. Při výpočtu doby mezi neplánovanou údržbou motoru by se měla použít MTBF (střední doba mezi poruchami). Při výpočtu doby do úplné výměny motoru musíte použít MTTF (Mean Time Between Failures).

MTTR: ​​Střední doba opravy

Jaká je průměrná doba opravy?

MTTR (Mean Time to Repair) je průměrná doba potřebná k opravě systému (obvykle technické nebo mechanické). To zahrnuje jak dobu opravy, tak dobu testování. Tato metrika bere v úvahu celou dobu, než bude systém opět plně funkční.

Jak vypočítat průměrnou dobu opravy

MTTR můžete vypočítat tak, že sečtete celkový čas strávený opravami během daného období a poté tento čas vydělíte počtem oprav.

Řekněme tedy, že tuto metriku vypočítáme pro opravy do týdne. Během této doby došlo k 10 výpadkům a systémy byly čtyři hodiny aktivně opravovány. Čtyři hodiny jsou 240 minut. 240 děleno 10 se rovná 24, což znamená, že průměrná doba opravy v tomto případě bude 24 minut.

Průměrný čas na opravu omezení

Střední doba opravy není vždy stejná jako doba selhání systému. V některých případech opravy začnou během několika minut po selhání produktu nebo selhání systému. V ostatních případech dochází k určité prodlevě mezi samotným incidentem, zjištěním incidentu a zahájením oprav.

Tato metrika je nejužitečnější při sledování, jak rychle může servisní personál vyřešit problém. Není určen k identifikaci problémů se systémovými výstrahami nebo zpožděními obnovy, které jsou také důležitými faktory při posuzování úspěšnosti a selhání programu řízení incidentů.

Jak a kdy použít střední čas k opravě

MTTR je metrika, kterou používají týmy podpory a údržby, aby zajistily, že úsilí o obnovu je na požadované úrovni. Cílem je udržet toto číslo na co nejnižší úrovni zlepšením efektivity procesů obnovy a týmové produktivity.

MTTR: ​​Střední doba do zotavení

Jaká je střední doba zotavení?

MTTR (Mean Time to Repair or Mean Time to Stabilise) je průměrná doba pro obnovení po selhání produktu nebo systému.. Zahrnuje celkovou dobu odstávky od okamžiku, kdy systém nebo produkt selže, až do doby, kdy bude opět plně funkční.

Toto je základní metrika DevOps, o které se program DevOps Research and Assessment (DORA) domnívá, že ji lze použít k posouzení stability týmu DevOps.

Jak vypočítat průměrnou dobu zotavení

Střední doba do opravy se vypočítá sečtením všech prostojů v daném období a jejich dělením počtem incidentů. Řekněme tedy, že naše systémy byly mimo provoz na 30 minut během dvou samostatných incidentů během 24 hodin. 30 děleno dvěma se rovná 15, takže naše MTTR je 15 minut.

Mean Time to Recovery Limits

MTTR se používá k měření rychlosti úplného procesu obnovy. Je to dost vysoké? A ve srovnání s vašimi konkurenty?

Tato celková metrika vám pomůže určit, zda máte problém. Pokud však chcete diagnostikovat, v jaké části přesně ve vašem procesu je problém (Vyskytl se problém s vaším systémem upozornění? Trvá týmu příliš dlouho, než opraví chybu? Trvá někomu příliš dlouho, než odpovídá na požadavek na chybu?) budete potřebovat více dat. Protože mezi havárií a obnovou se toho může stát hodně.

Problém může souviset s vaším výstražným systémem. Je mezi selháním a odesláním oznámení nějaká prodleva? Dostávají se oznámení ke správné osobě dostatečně rychle?

Problém může být v diagnostice. Dokážete rychle zjistit, v čem je problém? Existují procesy, které by se daly zlepšit?

Nebo může být problém v samotném procesu opravy. Jsou vaše týmy údržby dostatečně efektivní? Pokud tráví všechen svůj čas opravou, co přesně je brzdí?

Chcete-li odpovědět na tyto otázky, budete muset sáhnout hlouběji než MTTR, ale MTTR může být výchozím bodem pro diagnostiku, zda existuje problém s procesem obnovy a zda vyžaduje hlubší analýzu.

Jak a kdy použít průměrnou dobu zotavení

MTTR je dobrá metrika pro hodnocení rychlosti celkového procesu obnovy.

MTTR: ​​průměrná doba do rozlišení

Jaká je průměrná doba rozlišení?

MTTR (Mean Time to Resolution) je průměrná doba potřebná k úplnému vyřešení poruchy.. Zahrnuje nejen čas strávený detekcí poruchy, diagnostikou problému a jeho odstraněním, ale také čas strávený předcházením opakování problému.

Tato metrika rozšiřuje odpovědnost týmu, který řeší opravu: stanovuje očekávání, jak z dlouhodobého hlediska zlepší svou produktivitu. To je rozdíl mezi prostým uhašením a hašením požáru a následnou instalací protipožárního systému.

Mezi tímto MTTR a spokojeností zákazníků existuje silná korelace, proto si tato metrika zaslouží zvláštní pozornost.

Jak vypočítat průměrnou dobu rozlišení

Chcete-li vypočítat tuto MTTR, vypočítejte celkovou dobu řešení během období, které chcete sledovat, a vydělte ji počtem incidentů.

Pokud tedy byly vaše systémy mimo provoz celkem 2 hodiny za 24 hodin kvůli jednomu incidentu a týmy strávily další 2 hodiny nápravou, aby se zajistilo, že se výpadek systému nebude opakovat, jsou to celkem 4 hodiny strávené řešením problému. To znamená, že vaše MTTR je 4 hodiny.

Poznámka ke sledování průměrné doby rozlišení

Mějte na paměti, že MTTR se nejčastěji vypočítává pomocí pracovní doby (takže pokud se vrátíte do práce na konci pracovního dne a strávíte čas tím, že druhý den ráno nejprve řešíte základní problém, vaše MTTR nebude zahrnovat 16 hodin, kdy jste byli bez práce). Pokud máte týmy v různých časových pásmech a pracujete nepřetržitě, nebo pokud máte zaměstnance na zavolání, kteří pracují mimo běžnou dobu, je důležité určit, jak budete u této metriky sledovat čas.

Jak a kdy používat průměrnou dobu rozlišení

MTTR se obvykle používá, když se mluví o neplánovaných incidentech spíše než o servisních požadavcích (které jsou obvykle plánované).

MTTR: ​​Střední doba do odezvy

Jaká je průměrná doba odezvy?

MTTR (Mean Time to Response) je průměrná doba potřebná k zotavení po selhání produktu nebo systému od okamžiku, kdy byla porucha poprvé nahlášena. Nezahrnuje dobu zpoždění ve vašem výstražném systému.

Jak vypočítat průměrnou dobu odezvy

Chcete-li vypočítat tuto MTTR, vypočítejte celkovou dobu odezvy od okamžiku, kdy obdržíte upozornění, až do doby, kdy bude produkt nebo služba opět plně funkční. Pak to vydělte počtem incidentů.

Například: Pokud jste měli 4 incidenty za 40hodinový pracovní týden a strávili jste nad nimi 1 hodinu (od oznámení po opravu), pak by vaše MTTR za daný týden byla 15 minut.

Jak a kdy používat průměrnou dobu odezvy

MTTR se často používá v kybernetické bezpečnosti k měření úspěšnosti týmu při neutralizaci útoků na systém.

MTTA: Střední doba do potvrzení

Jaká je průměrná doba potvrzení?

MTTA (Mean Time To Acknowledge) je průměrná doba od odeslání výstrahy do zahájení práce na opravě. Tato metrika je užitečná pro měření reakce vašeho týmu a efektivity vašeho výstražného systému.

Jak vypočítat průměrnou dobu potvrzení

Chcete-li vypočítat MTTA, vypočítejte dobu mezi odesláním výstrahy a potvrzením jejího přijetí a poté ji vydělte počtem incidentů.

Například: Pokud byste měli 10 incidentů a mezi odesláním upozornění a potvrzením přijetí u všech 40 uplynulo celkem 10 minut, vydělili byste 40 10 a dostali byste průměrně 4 minuty.

Jak a kdy použít průměrnou dobu potvrzení

Metrika MTTA je užitečná pro sledování odezvy. Je váš tým unavený výstrahami a trvá příliš dlouho, než odpovídá na zprávy o incidentech? Tato metrika vám pomůže tento problém odhalit a analyzovat.

MTTF: Střední doba do selhání

Co je střední doba před selháním?

MTTF (mean time to failure) je průměrná doba mezi neopravitelnými poruchami technologického produktu. Pokud například automobilové motory značky X fungují spolehlivě v průměru 500 000 hodin, než zcela selžou a musí být vyměněny, MTTF motorů by byla 500 000.

Tato metrika vám pomůže pochopit, jak dlouho bude systém správně fungovat, a určit, zda je nová verze systému lepší než ta stará. Tato metrika vám umožňuje poskytovat zákazníkům informace o očekávané době provozuschopnosti a kdy naplánovat kontrolu systému.

Jak vypočítat střední dobu před selháním

Střední doba do selhání (MTBF) je aritmetický průměr definovaný jako součet celkové doby provozu hodnocených produktů dělený celkovým počtem zařízení.

Například: řekněme, že počítáte MTTF žárovek. Jak dlouho průměrně vydrží žárovky značky Y, než vyhoří? Dále předpokládejme, že máte k výpočtu čtyři žárovky (pokud chcete statisticky významná data, budete jich potřebovat mnohem více, ale abychom vás nezahltili výpočty, použijte čtyři).

Žárovka A svítí 20 hodin. Žárovka B – 18. Žárovka C -21. A žárovka D – 21 hodin. To je celkem 80 hodin svícení žárovky. Vydělte čtyřmi a dostaneme MTTF 20 hodin.

Problém spojený se střední dobou do selhání

Pro případy, jako jsou žárovky, je význam MTTF zcela jasný. Můžeme rozsvítit žárovky a počkat, až vyhoří poslední, a pak použít získané informace k vyvození závěrů o tom, jak dlouho naše žárovky vydrží.

Co se ale stane, když naměříme něco, co tak rychle nevyhoří? Něco, co musí spolehlivě fungovat po mnoho let? I když se MTTF často používá i pro tyto případy, není to nejlepší metrika k použití. Protože produkt nenecháváme zapnutý, dokud se nezdaří; V zásadě uvádíme na trh produkt na určitou dobu a měříme počet poruch.

Například: Řekněme, že se snažíme získat statistiky MTTF pro tablety značky Z Tablety jsou navrženy tak, aby vydržely roky, ale značka Z má na sběr dat pouze šest měsíců. Proto testují 100 tablet během šesti měsíců. Řekněme, že jedna tableta praskne přesně po šesti měsících.

Vynásobíme tedy celkovou dobu provozu (půl roku násobeno 100 tabletami) a dostaneme 600 měsíců. Selhala pouze jedna tableta, takže hodnotu vydělíme jednou a naše MTTR bude 600 měsíců, tedy 50 let.

Vydrží tablety značky Z průměrně 50 let? Nepravděpodobné. A proto tato metrika není v takových případech vhodná.

Jak a kdy použít průměrnou dobu do selhání

MTTF funguje dobře, když se snažíte odhadnout průměrnou životnost produktů a systémů s krátkou životností (jako jsou žárovky). Indikátor je určen pouze pro případy, kdy se posuzuje úplné ukončení funkčnosti produktu. Při výpočtu doby mezi incidenty vyžadujícími obnovu je preferovaná zkratka MTBF (střední doba mezi poruchami).

MTBF, MTTR, MTTF a MTTA

Jaká je tedy nejlepší metrika, kterou lze použít, pokud jde o sledování a zlepšování správy incidentů?

Ačkoli se někdy používají zaměnitelně, každá metrika vám umožňuje podívat se na situaci z jiné perspektivy. Při společném použití mohou ukázat úplnější obrázek a poskytnout vám přehled o tom, jak úspěšný je váš tým ve správě incidentů a co může zlepšit.

Průměrná doba zotavení ukazuje, jak rychle můžete své systémy znovu zprovoznit.

Vypočítat průměrná doba odezvya získáte představu o tom, kolik času na zotavení strávíte prací s vaším týmem a kolik utratíte za přijímání upozornění.

Pak počítejte průměrný čas na opravu, a pochopíte, kolik času tým stráví opravami a kolik diagnostikou.

Nyní počítejte průměrná doba rozlišenía začnete chápat celý proces oprav a řešení problémů, které přesahují prostoje, které způsobují.

Přičítat střední doba mezi poruchamia obrázek se ještě zvětší: uvidíte, jak úspěšný je váš tým v předcházení nebo snižování budoucích problémů.

A pak přidat střední čas do selháník pochopení celého životního cyklu produktu nebo systému.

Jira Service Management nabízí možnosti vytváření sestav, takže váš tým může sledovat KPI a spravovat a optimalizovat správu incidentů.

Reprezentativnost je nejdůležitější vlastností dat používaných k sestavení analytických modelů. Bez ohledu na předmět a metody použité k provádění výzkumu vzorku vede nedostatečná reprezentativnost vzorku k nesprávným výsledkům. V tomto článku vám o této důležité vlastnosti povíme více.

Reprezentativnost je nejdůležitější vlastností dat používaných k sestavení analytických modelů. Odráží schopnost dat reprezentovat závislosti a vzory ve zkoumané oblasti, které musí konstruovaný model detekovat a naučit se je reprodukovat. Jinými slovy, reprezentativnost ukazuje, zda analyzovaná data obsahují dostatek informací pro sestavení vysoce kvalitního modelu a také zda tyto informace mohou být použity algoritmem pro tvorbu modelu.

Reprezentativnost obecné populace odráží schopnost populace popsat podstatné vlastnosti, závislosti a vzorce objektů, procesů a jevů předmětné oblasti. Toho je dosaženo správnou organizací sběru a konsolidace primárních dat.

Reprezentativnost vzorku popisuje schopnost výběrových dat odrážet strukturální vlastnosti populace, ze které byla získána. Tito. poskytuje odpověď na otázku: je možné ve studii nahradit populaci vzorkem, aniž by se výrazně zhoršily výsledky analýzy. Reprezentativnosti vzorku je dosaženo správnou volbou metody odběru vzorků.

Reprezentativnost vzorku se tedy týká pouze reprodukce charakteristik populace. Pokud původní populace sama o sobě špatně reprezentuje předmětnou oblast, pak, i když je z ní získaný vzorek reprezentativní, nelze na jeho základě sestavit model, který by byl z hlediska předmětné oblasti správný.

Řekněme například, že společnost plánuje uvést na trh nový produkt. Zároveň chce provést marketingový výzkum formou zákaznického průzkumu o požadovaných vlastnostech a parametrech produktu. Klientská základna společnosti čítá statisíce lidí (běžná populace), takže není fyzicky možné ani ekonomicky realizovat je všechny.

Společnost proto tvoří vzorek klientů k provedení průzkumu. Pokud názory zákazníků ve vzorku odrážejí názory většiny zákazníků a lze je využít k rozhodování o parametrech a vlastnostech nového produktu, pak bude takový vzorek reprezentativní.

Bez ohledu na předmět a metody použité k provádění výzkumu vzorku vede nedostatečná reprezentativnost vzorku k nesprávným výsledkům. Proto je během procesu analýzy nutné zajistit, aby byl vytvořený vzorek reprezentativní.

Reprezentativní vzorek je tedy takový, ve kterém jsou zastoupeny všechny podskupiny důležité pro studii. Kromě toho musí být povaha rozložení posuzovaných parametrů ve vzorku stejná jako v obecné populaci.

Zajištění reprezentativnosti je zvláště důležité ve strojovém učení; k sestavení klasifikačních a regresních modelů se používá několik vzorků: trénování, testování a ověřování, které jsou vybrány tak či onak z původního souboru dat. A všechny tyto vzorky musí být reprezentativní.

Zajištění reprezentativnosti

Základem pro konstrukci reprezentativního vzorku je správná volba použitého vzorkovacího algoritmu. Velikost vzorku, i když je důležitá, sama o sobě nezaručuje jeho reprezentativnost. Například online průzkum může ukázat, že 100 % lidí používá internet, i když to není pravda (tj. reprezentativnost je ohrožena).

Rozlišuje se kvalitativní (strukturální) a kvantitativní reprezentativnost.

Kvalitativní reprezentativnost

Kvalitativní reprezentativnost naznačuje, že ve vzorku budou zastoupeny všechny skupiny přítomné v populaci. K tomu musí mít každý prvek populace stejnou pravděpodobnost, že bude vybrán, a samotný vzorek musí být vytvořen z homogenních skupin.

Nejoptimálnějším způsobem, jak vytvořit reprezentativní vzorek, je jednoduchý náhodný výběr, protože v tomto případě bude mít každý zástupce obecné populace stejnou pravděpodobnost, že bude zařazen do vzorku.

Například při vytváření vzorku klientů pro průzkum bude zahrnovat lidi z různých sociálních skupin v poměru k jejich podílům v běžné populaci. Výsledkem bude, že vzorek bude zmenšenou kopií obecné populace.

Náhodný výběr respondentů ve vzorku lze zajistit různými metodami. Například pro provedení zákaznického průzkumu se berou čísla zákaznických karet, která jsou náhodně vybrána počítačovým programem pomocí generátoru náhodných čísel.

V praxi však není vždy možné použít jednoduchý náhodný výběr. To je způsobeno tím, že obecná populace může být heterogenní a bude obsahovat skupiny objektů.

Pokud je například průzkum prováděn po telefonu, pak většinu odpovědí obdrží důchodci jako lidé, kteří jsou méně zaneprázdněni a mají větší sklony ke kontaktu. Je zřejmé, že pokud se průzkum týká produktu zaměřeného na mladé lidi, pak hodnota názorů důchodců pravděpodobně nebude vysoká.

K vyřešení tohoto problému lze použít náhodné stratifikované vzorkování, kdy se původní populace nejprve rozdělí na vrstvy (vrstvy) podle nějaké charakteristiky. Klienti mohou být například stratifikováni podle věku. Potom lze vrstvy tvořit úměrně podílu objektů ve skupinách, což umožní snížit nebo zvýšit podíl konkrétní skupiny při zachování reprezentativnosti.

Další možností je využití clusterového (skupinového) vzorkování, kdy jsou klienti předem rozděleni do kvalitativně homogenních skupin – shluků a výběr se provádí z každého shluku samostatně. V tomto případě může být pravděpodobnost výběru stejná pro všechny shluky nebo různá. Některé shluky je možné z výběru úplně vyloučit. V našem příkladu lze klienty rozdělit do skupin podle sociálního postavení – studenti, dělníci, důchodci, vojenský personál atd. Podíl důchodců ve vzorku tak lze snížit nebo zcela vyloučit.

Kvantitativní reprezentativnost

Kvantitativní reprezentativnost ukazuje, zda je počet prvků vzorku dostatečný pro reprezentaci charakteristik obecné populace s danou chybou. Pokud například není známa velikost obecné populace a výsledek se odráží ve formě ukazatele relativního podílu, lze počet prvků vzorku, který zajišťuje kvantitativní reprezentativnost, vypočítat pomocí vzorce:

kde t je koeficient spolehlivosti udávající pravděpodobnost, že velikost ukazatele nepřekročí meze mezní chyby, p je podíl jednotek sledování majících studovanou charakteristiku, q=1−p je podíl jednotek sledování, které nemají studovanou charakteristiku, Δ je přípustná výběrová chyba.

Například jedním z ukazatelů kvality úvěrového portfolia banky je podíl dlužníků, kteří jsou v prodlení. Maximální chyba, kterou lze připustit, aby rozptyl hodnot indikátoru nepřekročil rozumné meze, je Δ=5%. V tomto případě může indikátor nabývat hodnot 25% ±5%, tzn. od 20 % do 30 %. Za předpokladu t=2, což poskytuje 95% pravděpodobnost, dostaneme

n=fraccdot 0,25cdot 0,75>>=300 dlužníků.

Pokud ukazatelem není relativní průměrná hodnota dluhu po splatnosti za všechny klienty, pak počet pozorování bude:

Pokud se použije vzorkování bez náhrady a je známa velikost populace, pak vzorec použitý k určení požadované velikosti náhodného vzorku pomocí relativních hodnot (proporcí) je:

n=fraccdot pcdot qcdot N>cdot N+t^cdot pcdot q>

kde N je počet pozorování v obecné populaci. Pro průměrné hodnoty studované veličiny bude mít vzorec tvar:

Pak v předchozím příkladu, za předpokladu počtu klientů N=500, dostaneme:

n=fraccdot 0,25cdot 0,75cdot 500>cdot 500+2^cdot 0,25cdot 0,75>cca 188 klientů.

Požadovaná velikost vzorku pro nevratné vzorkování je tedy menší než pro vzorkování zpětného odběru (188 a 300, v tomto pořadí).

Obecně platí, že počet pozorování potřebných k získání reprezentativního vzorku se nepřímo mění s druhou mocninou dovolené chyby.

Metody hodnocení reprezentativnosti

Formálně se vzorek nazývá reprezentativní, když se výsledek odhadu určitého parametru pro daný vzorek shoduje s výsledkem odhadovaným pro obecnou populaci s přihlédnutím k dovolené chybě (chybě reprezentativnosti). Pokud se výběrový odhad liší od odhadu pro obecnou populaci o více než stanovenou míru chyb, je takový výběr považován za nereprezentativní.

Reprezentativnost se posuzuje na základě jednotlivých parametrů vzorku a populace. V tomto případě může být vzorek v některých ohledech reprezentativní a v jiných nereprezentativní. Proto by bylo nesprávné hovořit o reprezentativnosti jako o dichotomické vlastnosti vzorku (reprezentativního nebo nereprezentativního): vzorek může některé parametry obecné populace reprodukovat přesněji a jiné méně přesně. Proto je správnější mluvit o míře reprezentativnosti určitého vzorku podle konkrétních parametrů.

Klíčovým bodem při určování reprezentativnosti vzorku je zdůvodnění chyby, v rámci které je vzorek považován za reprezentativní. Stejný vzorek může být dostatečně reprezentativní pro jeden úkol a ne dostatečně reprezentativní pro jiný. Kromě toho je nutné zkontrolovat reprezentativnost vzorku pro parametry, které jsou významné pro předmět studie. Například v marketingovém výzkumu jsou pro analýzu zákazníků důležité pohlaví, věk, vzdělání atd.

Je třeba poznamenat, že ne všechny úkoly obchodní analýzy vyžadují přísné statistické potvrzení reprezentativnosti vzorků. Obvykle se jedná o úkoly přesné předpovědi. Pokud jde o běžné úkony, jako je zjišťování preferencí stávajících a potenciálních zákazníků, řeší se oslovováním typických klientů, které lze nalézt přímo v obchodních centrech.

Statistické metody

Data získaná jako výsledek výběrových šetření jsou realizacemi náhodných veličin (věk, odsloužená doba, příjem atd.). Obvykle je v praxi vzorek považován za reprezentativní, pokud se jeho statistické parametry (střední hodnota, rozptyl, směrodatná odchylka atd.) neliší od parametrů populace o více než 5 %.

Tento přístup je však použitelný pouze v případě, že je známa celá populace a lze pro ni vypočítat statistické charakteristiky. Ale v praxi se to stává zřídka, protože některé objekty, které jsou potenciálně zajímavé pro výzkum, jsou pro pozorování nepřístupné.

V tomto případě se uchýlí k vytvoření dvou nezávislých vzorků, vypočítají a porovnají jejich charakteristiky, a pokud se shodují (výrazně se neliší), pak jsou vzorky považovány za reprezentativní. Z teoretického hlediska je tento přístup poměrně atraktivní, ale v praxi je obtížně realizovatelný. Za prvé, vytvoření několika vzorků vede k dodatečným nákladům a za druhé, pokud se parametry vzorků výrazně liší, nelze říci, který z nich je reprezentativní.

Pro porovnání dvou vzorků se používají dva typy kritérií: neparametrické a parametrické. První nepoužívají ve výpočtech hodnoty parametrů statistického rozdělení, ale pracují s frekvencemi a pozicemi. Mezi nejoblíbenější neparametrické testy patří Wilcoxonův test a Mann-Whitney U test. Druhý se doporučuje použít, pokud počet pozorování přesáhne 30. Mezi oblíbená parametrická kritéria patří Studentův t-test, Smirnovův test homogenity, Rosenbaumův Q-test atd.

Nestatistické metody

Statistické metody pro hodnocení reprezentativnosti výběrových dat, ač striktně odůvodněné, jsou poměrně obtížně použitelné (zejména pro uživatele bez dostatečného matematického vzdělání). Navíc mohou mít omezení (například nezávislost na vzorcích), která je poměrně obtížné splnit.

Statistické přístupy k hodnocení reprezentativnosti vzorků mají smysl používat, pokud se k analýze dat používají statistické metody. Metody strojového učení, které jsou heuristické a ve většině případů neposkytují přesné a jedinečné řešení, obecně nepotřebují přesné posouzení reprezentativnosti trénovacích vzorků. Proto používají své vlastní techniky, aby určili, jak dobře trénovaný nebo testovací vzorek reprezentuje původní populaci.

Další vlastností vzorků používaných ve strojovém učení je, že je známa velikost původní populace, ze které se tvoří trénovací, testovací a v případě potřeby ověřovací sady, protože data jsou obsažena v konsolidovaných tabulkách zdroje dat.

Nestatistická měřítka reprezentativnosti obvykle používají vzdálenosti mezi vektory pozorování v prostoru prvků. Uvažujme například takový ukazatel jako index nejbližšího souseda (Index nejbližších sousedů – NNI). Předpokládejme, že vzorek obsahuje n nejbližších sousedů v nějaké oblasti prostoru prvků. Vypočítejme hodnotu představující průměrnou vzdálenost mezi i-tým objektem a všemi ostatními objekty ve vzorku (oblast sousedství):

kde D_i je vzdálenost od i-tého objektu ke zbývajícím objektům ve vzorku, n je počet objektů ve vzorku.

Potom vypočítáme hodnotu:

kde D_> je celková vzdálenost napříč celou populací, N je počet pozorování v populaci.

Potom bude index nejbližšího souseda:

Pokud je hodnota tohoto ukazatele blízká 1, pak mají body vzorku rovnoměrné prostorové rozložení. Pokud je menší než 1, pak je prostorové rozložení bodů nerovnoměrné. Pokud je NNI větší než 1, pak je ve vzorku významný rozptyl hodnot.

Je zřejmé, že nejlepší variantou z hlediska reprezentativnosti bude první případ, kdy je prostorové rozložení datových bodů v populaci a vzorku přibližně stejné. Druhý případ ukazuje, že ve vzorku mohou existovat některé místní rysy, které nejsou charakteristické pro celou populaci.

V literatuře lze nalézt velké množství různých algoritmů a metod pro hodnocení reprezentativnosti vzorků pro strojové učení, vyvinutých pro různé obory výzkumu a typy analytických úloh. Většina z nich je heuristická a nezaručuje nejlepší výsledek. Nejspolehlivějším kritériem pro reprezentativnost vzorku, na jehož základě byl sestaven určitý model učení, je tedy přesnost a schopnost zobecnění samotného modelu.

Ukázka opravy

Nabízí se otázka: co dělat v situaci, kdy má analytik přístup pouze k vzorku „tak jak je“ a jeho reprezentativnost je neuspokojivá? Zároveň nemá přístup k běžné populaci, aby vytvořil reprezentativnější vzorek (např. kvůli problémům se sítí, nemožnosti opakování studií kvůli vysokým nákladům apod.). V tomto případě může situaci zlepšit speciální postup zvaný „oprava vzorku“.

Všechny činnosti analytika související s reprezentativností lze rozdělit do dvou fází: kontrola a oprava.

1. Ukázkové ovládání — postup porovnávání obecné populace a vzorku, zjišťování míry jejich nesrovnalostí, odhalování příčin odchylek a vypracování možných způsobů jejich odstranění.
2. Ukázka opravy — proces odstraňování nesrovnalostí mezi běžnou populací a vzorkem.

Kontrola a oprava vzorku jsou považovány za povinné fáze jakékoli studie vzorku. Někteří autoři však tyto dvě fáze neoddělují, ale zahrnují opravu do obecného postupu kontroly vzorku. Řada problémů souvisejících s kontrolou vzorků byla diskutována výše.

Hlavním cílem opravy je zlepšit kvalitu vzorku ve smyslu jeho odrazu závislostí a vzorců studovaných procesů a jevů, které je třeba v procesu analýzy objevit. Oprava vzorku by však neměla být zaměňována se zlepšováním kvality dat obecně.

Vzorová oprava obvykle zahrnuje následující úkoly:

1. Korekce vzorku. Spočívá v nahrazení dříve vybraných objektů sady. Korekce může být vyžadována například v případě, že vzorek má zkreslené rozložení objektů vzhledem k původní populaci, například pokud je přebytek důchodců, mužů, žen nebo lidí s určitým vzděláním. Záměna může být libovolná (např. další klient na seznamu) nebo ekvivalentní (najde se klient se stejnými parametry – důchodce je nahrazen důchodcem atd.).
2. Rozšíření vzorkovacího rámce. Umožňuje zahrnout do vzorku větší rozmanitost pozorování. Vzorkovací rámec je podmnožinou základního souboru, ze kterého bude vzorek vybrán. Použití vzorkovacího rámce umožňuje cílenější výběr, eliminaci zpracování dat, která nejsou relevantní pro analytický úkol, a lepší zaměření na cílovou skupinu. Při analýze klientské základny může být vzorek založen pouze na mužích, pouze ženách, lidech ve věku 30 až 60 let atd. Pokud vzorek není dostatečně reprezentativní, lze problém vyřešit rozšířením hranic rámce výběru. Pokud by výchozím základem vzorku byli například pouze lidé v důchodovém věku, pak jej lze v případě potřeby rozšířit o osoby v předdůchodovém věku.
3. Vážení. Při vážení lze vzorovým objektům přiřadit váhové faktory, které lze vzít v úvahu v algoritmu analýzy. Vyšší váhové faktory lze například přiřadit klientům, kteří nejaktivněji využívali služeb společnosti (nakupovali zboží a služby za částku nad určitou hranici). Je logické předpokládat, že názor takových klientů bude významnější.

Je třeba poznamenat, že obecně řečeno neexistuje jediný, přísně odůvodněný přístup k opravě vzorku, i když lze v literatuře nalézt některá obecná doporučení. Ve většině praktických případů musí analytik nezávisle zvolit, které transformace by měly být aplikovány na vzorek, aby se zvýšila jeho reprezentativnost.

Další materiály k tomuto tématu: