7 تجسم توزیع: هیستوگرام و توطئه های چگالی

آخرین مطالب

امکانات وب

7 تجسم توزیع: هیستوگرام و توطئه های چگالی

ما غالباً با شرایطی روبرو می شویم که می خواهیم درک کنیم که چگونه یک متغیر خاص در یک مجموعه داده توزیع می شود. برای مثال بتونی ، ما مسافران تایتانیک را در نظر خواهیم گرفت ، مجموعه ای از داده هایی که قبلاً در فصل 6 با آن روبرو شده ایم. تقریباً 1300 مسافر در تایتانیک (که خدمه را شمارش نمی کردند) وجود داشت ، و ما برای 756 نفر از آنها سنین را گزارش کرده ایم. ممکن است بخواهیم بدانیم که چه تعداد مسافر در سنین مختلف در تایتانیک وجود دارد ، یعنی چند کودک ، بزرگسالان ، افراد میانسال ، سالمندان و غیره. ما نسبت های نسبی سنین مختلف را در بین مسافران توزیع سنی مسافران می نامیم.

7. 1 تجسم یک توزیع واحد

ما می توانیم با گروه بندی همه مسافران در سطل های با سنین قابل مقایسه ، احساس توزیع سن را در بین مسافران بدست آوریم و سپس تعداد مسافران را در هر سطل شمارش کنیم. این روش منجر به جدول مانند جدول 7. 1 می شود.

ما می توانیم این جدول را با ترسیم مستطیل های پر شده که ارتفاع آنها با شمارش مطابقت دارد و عرض آن مطابق با عرض سطل های سن است ، تجسم کنیم (شکل 7. 1). چنین تجسم هیستوگرام نامیده می شود.(توجه داشته باشید که تمام سطل ها باید از عرض یکسان برخوردار باشند تا تجسم یک هیستوگرام معتبر باشد.)

Histogram of the ages of Titanic passengers.

شکل 7. 1: هیستوگرام سنین مسافران تایتانیک.

از آنجا که هیستوگرام با استفاده از داده ها تولید می شود ، ظاهر دقیق بصری آنها به انتخاب عرض سطل بستگی دارد. بیشتر برنامه های تجسم که هیستوگرام ایجاد می کنند ، به طور پیش فرض یک عرض سطل را انتخاب می کنند ، اما احتمال وجود دارد که عرض سطل مناسب ترین مورد برای هر هیستوگرام شما باشد که ممکن است بخواهید بسازید. بنابراین بسیار مهم است که همیشه عرض سطل مختلف را امتحان کنید تا تأیید کنیم که هیستوگرام حاصل منعکس کننده داده های اساسی به طور دقیق است. به طور کلی ، اگر عرض سطل خیلی کوچک باشد ، هیستوگرام بیش از حد اوج و از نظر بصری شلوغ می شود و ممکن است روندهای اصلی در داده ها مبهم شود. از طرف دیگر ، اگر عرض سطل خیلی بزرگ باشد ، ممکن است ویژگی های کوچکتر در توزیع داده ها ، مانند DIP در حدود 10 سالگی ، از بین برود.

برای توزیع سنی مسافران تایتانیک ، می بینیم که عرض سطل یک سال خیلی کوچک است و عرض سطل پانزده سال بسیار بزرگ است ، در حالی که عرض سطل بین سه تا پنج سال خوب کار می کند (شکل 7. 2).

Histograms depend on the chosen bin width. Here, the same age distribution of Titanic passengers is shown with four different bin widths: (a) one year; (b) three years; (c) five years; (d) fifteen years.

شکل 7. 2: هیستوگرام ها به عرض سطل انتخاب شده بستگی دارند. در اینجا، توزیع سنی یکسان مسافران تایتانیک با چهار پهنای سطل مختلف نشان داده شده است: (الف) یک سال. ب) سه سال؛ج) پنج سال؛د) پانزده سال.

هنگام ساختن یک هیستوگرام، همیشه عرض های چند سطل را کاوش کنید.

هیستوگرام ها حداقل از قرن 18 یک گزینه تجسم محبوب بوده اند، تا حدی به این دلیل که به راحتی با دست تولید می شوند. اخیراً، با در دسترس قرار گرفتن قدرت محاسباتی گسترده در دستگاه های روزمره مانند لپ تاپ و تلفن های همراه، شاهد جایگزینی روزافزون آن ها با نمودارهای چگالی هستیم. در یک نمودار چگالی، ما سعی می کنیم با ترسیم یک منحنی پیوسته مناسب، توزیع احتمال اساسی داده ها را تجسم کنیم (شکل 7. 3). این منحنی باید از روی داده ها تخمین زده شود و متداول ترین روش مورد استفاده برای این روش تخمین تخمین چگالی هسته نام دارد. در تخمین چگالی هسته، یک منحنی پیوسته (هسته) با عرض کم (که توسط پارامتری به نام پهنای باند کنترل می شود) در محل هر نقطه داده رسم می کنیم و سپس تمام این منحنی ها را جمع می کنیم تا تخمین چگالی نهایی را به دست آوریم. پرکاربردترین هسته، هسته گاوسی (یعنی منحنی زنگی گاوسی) است، اما گزینه های زیادی وجود دارد.

Keel density estimate of the age distribution of passengers on the Titanic. The height of the curve is scaled such that the area under the curve equals one. The density estimate was performed with a Gaussian keel and a bandwidth of 2.

شکل 7. 3: تخمین تراکم هسته از توزیع سنی مسافران در کشتی تایتانیک. ارتفاع منحنی به گونه ای مقیاس می شود که سطح زیر منحنی برابر با یک باشد. تخمین چگالی با یک هسته گاوسی و پهنای باند 2 انجام شد.

دقیقاً همانطور که در مورد هیستوگرام وجود دارد ، ظاهر دقیق بصری یک طرح چگالی به گزینه های هسته و پهنای باند بستگی دارد (شکل 7. 4). پارامتر پهنای باند به طور مشابه با عرض سطل در هیستوگرام رفتار می کند. اگر پهنای باند خیلی کوچک باشد ، برآورد چگالی می تواند بیش از حد اوج و بصری شلوغ شود و روندهای اصلی در داده ها ممکن است مبهم باشد. از طرف دیگر ، اگر پهنای باند خیلی بزرگ باشد ، ممکن است ویژگی های کوچکتر در توزیع داده ها از بین بروند. علاوه بر این ، انتخاب هسته بر شکل منحنی چگالی تأثیر می گذارد. به عنوان مثال ، یک هسته گاوسی تمایل به تولید تخمین چگالی خواهد داشت که شبیه گاوسی مانند ، دارای ویژگی های صاف و دم است. در مقابل ، یک هسته مستطیل شکل می تواند ظاهر مراحل را در منحنی چگالی ایجاد کند (شکل 7. 4D). به طور کلی ، هرچه نقاط داده بیشتری در مجموعه داده ها وجود داشته باشد ، انتخاب هسته نیز کمتر است. بنابراین ، توطئه های چگالی برای مجموعه داده های بزرگ کاملاً قابل اعتماد و آموزنده هستند اما می توانند برای مجموعه داده ها تنها چند نکته گمراه کننده باشند.

Keel density estimates depend on the chosen keel and bandwidth. Here, the same age distribution of Titanic passengers is shown for four different combinations of these parameters: (a) Gaussian keel, bandwidth = 0.5; (b) Gaussian keel, bandwidth = 2; (c) Gaussian keel, bandwidth = 5; (d) Rectangular keel, bandwidth = 2.

شکل 7. 4: برآورد چگالی هسته به هسته و پهنای باند انتخاب شده بستگی دارد. در اینجا ، توزیع سن مشابه مسافران تایتانیک برای چهار ترکیب مختلف این پارامترها نشان داده شده است: (الف) هسته گاوسی ، پهنای باند = 0. 5 ؛(ب) هسته گاوسی ، پهنای باند = 2 ؛(ج) هسته گاوسی ، پهنای باند = 5 ؛(د) هسته مستطیل شکل ، پهنای باند = 2.

منحنی های چگالی معمولاً به گونه ای مقیاس بندی می شوند که ناحیه زیر منحنی برابر باشد. این کنوانسیون می تواند مقیاس محور y را گیج کننده کند ، زیرا به واحدهای محور x بستگی دارد. به عنوان مثال ، در مورد توزیع سن ، دامنه داده در محور x از 0 به تقریبا 75 می رود. بنابراین ، ما انتظار داریم میانگین ارتفاع منحنی چگالی 1/75 = 0. 013 باشد. در واقع ، هنگام نگاه به منحنی های چگالی سن (به عنوان مثال ، شکل 7. 4) ، می بینیم که مقادیر Y از 0 تا تقریبا 0. 04 متغیر است ، با میانگین جایی نزدیک به 0. 01.

برآورد چگالی هسته دارای یک مشکل است که ما باید از آن آگاه باشیم: آنها تمایل به تولید داده هایی دارند که در آن وجود ندارد ، به ویژه در دم. در نتیجه ، استفاده بی دقتی از برآورد چگالی می تواند به راحتی منجر به ارقامی شود که اظهارات مزخرف را ایجاد می کنند. به عنوان مثال ، اگر توجه نکنیم ، ممکن است تجسم توزیع سنی ایجاد کنیم که شامل سنین منفی باشد (شکل 7. 5).

Keel density estimates can extend the tails of the distribution into areas where no data exist and no data are even possible. Here, the density estimate has been allowed to extend into the negative age range. This is clearly nonsensical and should be avoided.

شکل 7. 5: برآورد چگالی هسته می تواند دم توزیع را به مناطقی که هیچ داده ای وجود ندارد و حتی داده ای امکان پذیر نیست ، گسترش دهد. در اینجا ، برآورد چگالی مجاز به گسترش در محدوده سنی منفی است. این به وضوح مزخرف است و باید از آن اجتناب کرد.

همیشه تأیید کنید که برآورد چگالی شما وجود مقادیر داده های مزخرف را پیش بینی نمی کند.

بنابراین آیا باید از هیستوگرام یا یک طرح چگالی برای تجسم توزیع استفاده کنید؟بحث های داغ می تواند در مورد این موضوع انجام شود. برخی از افراد به شدت در برابر توطئه های چگالی هستند و معتقدند که خودسرانه و گمراه کننده هستند. برخی دیگر می دانند که هیستوگرام می تواند به همان اندازه دلخواه و گمراه کننده باشد. من فکر می کنم انتخاب تا حد زیادی موضوع طعم و مزه است ، اما گاهی اوقات ممکن است یک یا گزینه دیگر با دقت بیشتری ویژگی های خاص مورد علاقه در داده های مورد نظر را منعکس کند. همچنین امکان استفاده از هیچ یک و در عوض انتخاب توابع چگالی تجربی تجربی یا توطئه های Q-Q وجود دارد (فصل 8). سرانجام ، من معتقدم که برآوردهای چگالی به محض اینکه می خواهیم بیش از یک توزیع را در یک زمان تجسم کنیم ، از مزیت ذاتی نسبت به هیستوگرام برخوردار است (به بخش بعدی مراجعه کنید).

7. 2 تجسم چندین توزیع همزمان

در بسیاری از سناریوها توزیع های مختلفی داریم که می خواهیم همزمان تجسم کنیم. به عنوان مثال ، بیایید بگوییم که ما می خواهیم ببینیم که سن مسافران تایتانیک بین زن و مرد چگونه توزیع می شود. آیا زن و مرد مسافر به طور کلی در همان سن بودند ، یا تفاوت سنی بین جنس ها وجود داشت؟یکی از استراتژی های تجسم متداول در این مورد ، یک هیستوگرام انباشته شده است ، جایی که ما میله های هیستوگرام را برای زنان در بالای میله ها برای مردان ، با رنگ دیگری ترسیم می کنیم (شکل 7. 6).

Histogram of the ages of Titanic passengers stratified by gender. This figure has been labeled as “bad” because stacked histograms are easily confused with overlapping histograms (see also Figure 7.7). In addition, the heights of the bars representing female passengers caot easily be compared to each other.

شکل 7. 6: هیستوگرام سنین مسافران تایتانیک طبقه بندی شده توسط جنسیت. این شکل به عنوان "بد" شناخته شده است زیرا هیستوگرام انباشته به راحتی با هیستوگرام های همپوشانی اشتباه گرفته می شود (همچنین به شکل 7. 7 مراجعه کنید). علاوه بر این ، ارتفاعات میله های نماینده مسافران زن به راحتی نمی توانند با یکدیگر مقایسه شوند.

به نظر من باید از این نوع تجسم پرهیز کرد. در اینجا دو مشکل کلیدی وجود دارد: اول، با نگاه کردن به شکل، هرگز کاملاً مشخص نیست که میله ها دقیقاً از کجا شروع می شوند. آیا آنها از جایی شروع می شوند که رنگ تغییر می کند یا قرار است از صفر شروع شوند؟به عبارت دیگر، آیا حدود 25 زن 18 تا 20 ساله وجود دارد یا تقریباً 80 نفر هستند؟(مورد اول اینطور است.) دوم، ارتفاع میله ها برای تعداد ماده را نمی توان مستقیماً با یکدیگر مقایسه کرد، زیرا میله ها همه از ارتفاع متفاوتی شروع می شوند. به عنوان مثال، مردان به طور متوسط بزرگتر از زنان بودند و این واقعیت در شکل 7. 6 به هیچ وجه قابل مشاهده نیست.

ما می توانیم سعی کنیم این مشکلات را با شروع تمام میله ها از صفر و شفاف کردن میله ها تا حدی برطرف کنیم (شکل 7. 7).

Age distributions of male and female Titanic passengers, shown as two overlapping histograms. This figure has been labeled as “bad” because there is no clear visual indication that all blue bars start at a count of 0.

شکل 7. 7: توزیع سنی مسافران مرد و زن تایتانیک، به صورت دو هیستوگرام همپوشانی نشان داده شده است. این رقم به عنوان "بد" نامگذاری شده است زیرا هیچ نشانه بصری واضحی وجود ندارد که نشان دهد همه نوارهای آبی با شمارش 0 شروع می شوند.

با این حال، این رویکرد مشکلات جدیدی ایجاد می کند. اکنون به نظر می رسد که در واقع سه گروه مختلف وجود دارد، نه فقط دو گروه، و ما هنوز کاملاً مطمئن نیستیم که هر نوار از کجا شروع و به پایان می رسد. هیستوگرام های همپوشانی به خوبی کار نمی کنند زیرا یک نوار نیمه شفاف که روی دیگری کشیده شده است، شبیه یک نوار نیمه شفاف نیست، بلکه شبیه نواری است که با رنگی متفاوت کشیده شده است.

نمودارهای چگالی همپوشانی معمولاً مشکل هیستوگرام های همپوشانی را ندارند، زیرا خطوط چگالی پیوسته به چشم کمک می کنند تا توزیع ها را جدا نگه دارد. با این حال، برای این مجموعه داده خاص، توزیع سنی برای مسافران مرد و زن تا حدود سن 17 سالگی تقریباً یکسان است و سپس متفاوت است، به طوری که تجسم حاصل هنوز ایده آل نیست (شکل 7. 8).

Density estimates of the ages of male and female Titanic passengers. To highlight that there were more male than female passengers, the density curves were scaled such that the area under each curve corresponds to the total number of male and female passengers with known age (468 and 288, respectively).

شکل 7. 8: تخمین تراکم سن مسافران مرد و زن تایتانیک. برای برجسته کردن تعداد مسافران مرد از زن، منحنی های تراکم به گونه ای مقیاس بندی شدند که سطح زیر هر منحنی با تعداد کل مسافران مرد و زن با سن مشخص (به ترتیب 468 و 288) مطابقت دارد.

راه حلی که برای این مجموعه داده به خوبی کار می کند، نشان دادن توزیع سنی مسافران مرد و زن به طور جداگانه، هر کدام به عنوان نسبتی از توزیع سنی کلی است (شکل 7. 9). این تجسم به طور شهودی و واضح نشان می دهد که تعداد زنان بسیار کمتری نسبت به مردان در محدوده سنی 20 تا 50 سال در کشتی تایتانیک وجود دارد.

Age distributions of male and female Titanic passengers, shown as proportion of the passenger total. The colored areas show the density estimates of the ages of male and female passengers, respectively, and the gray areas show the overall passenger age distribution.

شکل 7. 9: توزیع سنی مسافران تایتانیک زن و مرد ، که به عنوان نسبت کل مسافر نشان داده شده است. مناطق رنگی به ترتیب تخمین چگالی سنین مسافران زن و مرد را نشان می دهد و مناطق خاکستری توزیع کلی سن مسافر را نشان می دهد.

سرانجام ، هنگامی که ما می خواهیم دقیقاً دو توزیع را تجسم کنیم ، می توانیم دو هیستوگرام جداگانه نیز بسازیم ، آنها را با 90 درجه بچرخانیم و میله ها را در یک نقطه هیستوگرام به جهت مخالف دیگری داشته باشیم. این ترفند معمولاً هنگام تجسم توزیع سنی به کار می رود و نقشه حاصل معمولاً هرم سنی نامیده می شود (شکل 7. 10).

The age distributions of male and female Titanic passengers visualized as an age pyramid.

شکل 7. 10: توزیع سنی مسافران تایتانیک زن و مرد که به عنوان هرمی سنی تجسم می شوند.

نکته مهم این است که این ترفند وقتی بیش از دو توزیع وجود داشته باشد که می خواهیم همزمان تجسم کنیم ، کار نمی کند. برای توزیع های متعدد ، هیستوگرام ها بسیار گیج کننده می شوند ، در حالی که توطئه های چگالی به خوبی کار می کنند تا زمانی که توزیع ها تا حدودی متمایز و همبستگی باشند. به عنوان مثال ، برای تجسم توزیع درصد پروانه در بین گاوها از چهار نژاد مختلف گاو ، توطئه های چگالی خوب هستند (شکل 7. 11).

Density estimates of the butterfat percentage in the milk of four cattle breeds. Data Source: Canadian Record of Performance for Purebred Dairy Cattle