یک چارچوب استراتژی تجارت جدید مبتنی بر تقویت یادگیری عمیق برای پیش بینی های بازار مالی

آخرین مطالب

امکانات وب

یک چارچوب استراتژی تجارت جدید مبتنی بر تقویت یادگیری عمیق برای پیش بینی های بازار مالی

پیش بینی سهام با محیط پویا ، پیچیده و هرج و مرج بازار سهام پیچیده است. سرمایه گذاران پول خود را در بازار مالی قرار می دهند ، به این امید که با درک روند بازار و طراحی استراتژی های معاملاتی در نقاط ورود و خروج ، سود را به حداکثر برسانند. بیشتر مطالعات مدلهای یادگیری ماشین را برای پیش بینی قیمت سهام پیشنهاد می کنند. با این حال ، ساخت استراتژی های معاملاتی برای بازرگانان برای جلوگیری از اشتباه و از دست دادن پول مفید است. ما یک چارچوب معاملاتی اتوماتیک را با استفاده از LSTM همراه با یادگیری عمیق Q پیشنهاد می کنیم تا سیگنال معاملاتی و اندازه موقعیت تجارت را تعیین کنیم. این پیشرفته تر از مدل های پیش بینی قیمت سنتی است. در این مطالعه از داده های قیمت از بازار سهام تایوان استفاده شده است ، از جمله قیمت افتتاح روزانه ، قیمت بسته شدن ، بالاترین قیمت ، کمترین قیمت و حجم معاملات. سودآوری سیستم با استفاده از ترکیبی از حالتهای مختلف سهام مختلف مورد بررسی قرار گرفت. سودآوری سیستم پیشنهادی پس از مدت طولانی آزمایش مثبت بود ، به این معنی که این سیستم در پیش بینی افزایش و سقوط سهام عملکرد خوبی داشته است.

1. معرفی

نیروهای بازار باعث می شود که قیمت سهام هر روز تغییر کند. تأثیرگذاری در بورس سهام عوامل نامشخصی است که مهمترین آنها به دلیل مسائل سیاسی و دولت است. چنین عدم قطعیت تعیین استراتژی های تجاری مناسب برای فروش یا خرید سهام را پیچیده می کند. تجزیه و تحلیل بازار سهام شامل بهینه سازی نمونه کارها [1] ، تعیین استراتژی سرمایه گذاری [2] و تجزیه و تحلیل ریسک بازار است [3]. پیش بینی روند قیمت سهام ، محققان و شرکت کنندگان از رشته های مختلف مانند اقتصاد ، مهندسی مالی ، آمار ، تحقیقات عملیات و یادگیری ماشین را به خود جلب کرده است [4،5،6].

مطالعات سنتی الگوریتم هایی را برای پیش بینی روند سهام بر اساس تکنیک های یادگیری ماشین ، مانند شبکه های عصبی مصنوعی (ANN) و دستگاه های بردار پشتیبانی (SVM) ارائه داده اند [5،6،7،8]. اخیراً ، محققان برای پیش بینی قیمت سهام ، تکنیک های شناخته شده یادگیری عمیق ، مانند شبکه های عصبی مکرر (RNN) و حافظه کوتاه مدت (LSTM) را اتخاذ کرده اند. طراحی یک استراتژی سودآور تجارت سهام یک مسئله چالش برانگیز در تحقیقات بازار مالی است ، زیرا داده های سری زمانی مالی بسیار بی ثبات و پر سر و صدا است. معامله گران سنتی باید مقادیر زیادی از داده ها را تجزیه و تحلیل کنند تا تصمیم بگیرند که آیا سفارشات خالی ، سفارشات متعدد یا بدون معامله را قرار دهند. علاوه بر این ، پس از تصمیم گیری برای ایجاد یک سفارش واحد ، برای به حداکثر رساندن سود ، آنها باید در مورد اندازه معامله تصمیم بگیرند. اخیراً ، برخی از محققان الگوریتم های معاملاتی را برای به حداکثر رساندن سود پیشنهاد داده اند [3].

یادگیری تقویت و یادگیری Q الگوریتم های یادگیری ماشین برای خودکارسازی یادگیری و تصمیم گیری هدفمند است [11]. Moody and Saffell [12] پرتفوی بهینه سازی شده و سهام معاملاتی با استفاده از یادگیری مستقیم تقویت. با استفاده از یادگیری تقویت کننده ، DeepMind یاد گرفت که هفت بازی ویدیویی Atari را انجام دهد ، حتی به سطح آزمایش انسان و در سه نفر نیز برسد. این سیستم بعداً در بیش از 20 بازی مختلف Atari به یک سطح آزمایشی انسانی دست یافت [13]. Alphago ، که ترکیب شبکه های عصبی و یادگیری تقویت شده است ، بهترین بازیکن Go در جهان را شکست داده و باعث افزایش محبوبیت یادگیری تقویت شده در یادگیری عمیق به عنوان موضوعی از تحقیق می شود.

در این مطالعه ، ما یک سیستم معاملاتی خودکار جدید را پیشنهاد می کنیم که ترکیبی از یادگیری عمیق و یادگیری تقویت برای تعیین سیگنال تجارت و اندازه موقعیت تجارت است. این سیستم از یک شبکه LSTM همراه با یادگیری Q عمیق ساخته شده است ، که یک الگوریتم یادگیری تقویت کننده خارج از سیاست است که با توجه به وضعیت فعلی به دنبال یافتن بهترین اقدامات برای انجام است. این غیرقانونی در نظر گرفته می شود زیرا عملکرد q یادگیری از اقداماتی که خارج از سیاست فعلی است ، مانند اقدامات تصادفی ، یاد می گیرد و بنابراین هیچ سیاستی لازم نیست. به طور خاص ، Q-Leaing به دنبال یادگیری سیاستی است که حداکثر پاداش را به حداکثر می رساند. سیستم ما مبتنی بر شبکه Q عمیق است [14]. ما این سیستم را با پنج محصول مالی مختلف و سه ایالت مختلف تأیید می کنیم. مقاله بصورت زیر مرتب شده است. در بخش 2 ، ما کارهای مرتبط را مرور می کنیم ، و در بخش 3 روش خود را معرفی می کنیم. داده ها و نتایج تجربی ما در بخش 4 ارائه شده است. ما در بخش 5 نتیجه می گیریم.

2. بررسی ادبیات

پیش بینی بازار سهام توسط بسیاری از محققان با استفاده از چندین تکنیک یادگیری ماشین ارائه شده است [15،16،17،18،19]. به تازگی ، مدل های یادگیری عمیق یک موضوع تحقیق محبوب [20،21،22] بوده است و ما به طور خلاصه در مورد برنامه های قبلی یادگیری عمیق برای تجارت مالی بحث می کنیم. دینگ و همکاران.[23] با استفاده از تعبیه رویداد که تأثیر وقایع بلند مدت و رویدادهای کوتاه مدت را برای پیش بینی قیمت سهام ترکیب می کند ، یک شبکه عصبی عمیق و عمیق را پیشنهاد کرد. رویدادهای آنها شامل تغییرات قیمت سهام در طی ماه ها ، هفته ها و روزها بود. آنها نشان دادند که ترکیب تعبیه رویداد با شبکه های عمیق حلقوی برای پیش بینی قیمت سهام مفید است.

آکیتا و همکاران.[24] یک مدل LSTM را با استفاده از اطلاعات متنی و عددی برای پیش بینی ده قیمت سهام شرکت ایجاد کرد. نتایج تجربی نشان داد که ترکیب اطلاعات متنی و عددی بهتر از روشهایی است که فقط از داده های متنی یا فقط داده های عددی استفاده می کنند. نلسون ، پریرا و د الیویرا [25] مدلی را بر اساس LSTM با استفاده از پنج اقدامات تاریخی قیمت (باز ، نزدیک ، کم ، بالا و حجم) و 175 شاخص فنی برای پیش بینی حرکت قیمت سهام ارائه دادند.

لیو و همکاران.[26] حرکات قیمت سهام را با استفاده از یک مدل رویداد مبتنی بر توجه پایان به پایان به پایان رساند. آنها مدل Att-en را برای سوء استفاده از همبستگی های ضمنی بین وقایع جهانی ، از جمله تأثیر شمارش رویداد و تأثیر کوتاه مدت ، میان مدت و طولانی مدت و همچنین حرکت قیمت سهام پیشنهاد کردند. QIN [27] سری زمانی را با استفاده از یک شبکه عصبی مکرر مبتنی بر توجه دو مرحله ای (DA-RNN) که شامل یک رمزگذار با مکانیسم توجه ورودی و یک رمزگذار با مکانیسم توجه زمانی بود ، پیش بینی کرد.

فیشر و کراوس [9] از دسامبر 1992 تا اکتبر 2015 یک مدل LSTM را برای یک کار پیش بینی بازار مالی در مقیاس بزرگ در داده های S& P 500 به کار برد. ژائو و همکاران.[28] پویایی بازار را از اطلاعات چندمادی (شاخص های اساسی ، شاخص های فنی و ساختار بازار) برای پیش بینی بازده سهام با استفاده از یک سیستم آگاهی از بازار پایان به پایان رساند. سیستم آگاهی از بازار آنها منجر به کاهش خطا شد و آگاهی زمانی در پشته های تصاویر بازار منجر به کاهش خطای بیشتر شد.

در یادگیری تقویت (RL) ، مدل می آموزد که موقعیت هایی را برای اقدامات برای به حداکثر رساندن پاداش ترسیم کند [29]. به عامل RL صریحاً در مورد چگونگی بهبود یادگیری خود دستور داده نمی شود [14] ؛در عوض ، نماینده فقط اطلاعات دولتی را از محیط خود مشاهده می کند. سپس نماینده به خودی خود می آموزد که با توجه به این حالت و پاداش به دست آمده ، اقدامات را انتخاب کند.

یک سیستم یادگیری تقویت کننده شامل یک سیاست ، پاداش ، عملکرد ارزش و یک محیط است. در هر مرحله T = 0 ، 1 ، 2 ، 3 ،… ، عامل و محیط با یکدیگر تعامل دارند. عامل ST ∈ S را مشاهده می کند ، جایی که S مجموعه ای از حالت های ممکن از محیط است ، و سپس یک عمل را در ∈ A (ST) انتخاب می کند ، جایی که A (ST) مجموعه اقداماتی است که ممکن است در ST State اجرا شود. در مرحله بعدی ، نماینده پاداش ، RT + 1 ∈ ℜ را دریافت می کند و وضعیت جدیدی را مشاهده می کند ، ST + 1. سیاست عامل نقشه برداری از حالت ها به اقدامات در هر مرحله زمانی است. یک خط مشی مشخص شده است ، جایی که πt (s ، a) این احتمال است که در = a if st = s. یادگیری تقویت کننده این است که چگونه نماینده با توجه به تجربه خود ، سیاست خود را بهبود می بخشد. هدف عامل حداکثر پاداش در دراز مدت است.

مودی و Saffell [12] یادگیری تقویت کننده مکرر (RRL) را معرفی کردند ، یک رویکرد تقویت مستقیم که از اجرای یادگیری Q بهتر عمل می کند. معامله گر RRL آنها از NN یک لایه برای به حداکثر رساندن عملکردی از سود تنظیم شده ریسک استفاده می کند ، که به عنوان هشت بازده گذشته و خروجی قبلی آن طول می کشد. معامله گر بر روی داده های جفت ارز USD/GBP ، نیم ساعته از ژانویه 1996 تا آگوست 1996 مورد آزمایش قرار گرفت و به سود سالانه 15 ٪ رسید. طلا [30] RRL را در سایر بازارهای ارزی با داده های نیم ساعته برای کل سال 1996 آزمایش کرد و به سود متنوع از 82. 1 ٪ تا 49. 3 ٪ رسید و به طور متوسط 4. 2 ٪ بیش از ده جفت ارز مختلف. دورسون و همکاران.[31] از دو تکنیک مبتنی بر یادگیری تقویت کننده مکرر (RLL) و دو بر اساس یادگیری Q برای مشکل تعیین استراتژی سرمایه گذاری استفاده کرد. آنها یادگیری تقویت و یک سیستم تجارت را با هم ترکیب کردند. به طور سنتی ، پیش بینی سهام و معاملات به عنوان سیستم های پیش بینی و معامله گر به سیستم های مستقل جدا می شوند. آنها عملکرد قوی را برای رویکرد q یادگیری نشان دادند: در برخی از سری داده ها ، نتایج دو برابر استراتژی خرید و نگهدارنده بود. Nevmyvaka و همکاران.[32] در اولین کاربرد تجربی گسترده یادگیری تقویت (RL) برای مشکل اجرای بهینه شده با استفاده از مجموعه داده های ریزساختار بازار NASDAQ در مقیاس بزرگ گزارش شده است. آنها از سوابق تاریخی INET استفاده کردند و آزمایش هایی را در سه سهام انجام دادند - Amazon (AMZN) ، Qualcomm (QCOM) و Nvidia (NVDA) - با بیان اینکه RL سیاست ارسال و ترک (S& L) را شکست داد ، که قبلاً بهبودی نسبت به یک بازار ساده بودسفارش.

Dempster و Leemans [33] از یادگیری تقویت کننده تطبیقی (ARL) در بازار ارز استفاده کردند. در سیستم خود ، آنها یک لایه مدیریت ریسک و یک لایه بهینه سازی بیش از حد پارامتر پویا اضافه کردند. آنها این سیستم را بر روی دو سال داده های تاریخی یورو/دلار ، از ژانویه 2000 تا ژانویه 2002 ، با 1 دقیقه دانه بندی ، آزمایش کردند و به طور متوسط 26 ٪ بازده سالانه را بدست آوردند. لی و همکاران.[34] یک سیستم معاملات سهام جدید را بر اساس یادگیری تقویت کننده پیشنهاد کرد. MQ-Trader ، چارچوب پیشنهادی ، از چهار عامل یادگیری Q تعاونی تشکیل شده است: عوامل سیگنال را بخرید و بفروشید ، که از پیش بینی روند جهانی برای تعیین زمان خرید یا فروش سهام سهام استفاده می کنند و نمایندگان سفارش را خریداری و فروش می کنند ، که تصمیم می گیرند بهترین خرید را انتخاب کنند. قیمت (BP) و قیمت فروش (SP) برای اجرای سفارشات داخلی. لی از رویکرد چهار عامل به KOSPI 200 استفاده کرد ، که شامل 200 سهام عمده کره است. آنها هنگام استفاده از داده های سهام از بازار سهام کره ، دریافتند که سیستم های آنها عملکرد بهتری نسبت به سایر سیستم های پایه دارد.

کاممینگ و همکاران.[35] یک الگوریتم معاملاتی RL را بر اساس اختلاف زمانی حداقل مربعات (LSTD) معرفی کرد. سیگنال دولتی آنها از 8 دوره گذشته شامل باز ، بالاترین ، پایین ترین و نزدیکترین قیمت ها (فقط پیشنهاد) بود ، جایی که هر دوره یک دقیقه را پوشش می دهد. پاداش به عنوان سود هر معامله تعریف شد. در آزمایشات ، روش آنها به سود سالانه 1. 64 ٪ در بازار جفت EUR/USD دست یافت. روشهای یادگیری تقویت عمیق همراه با استراتژی های مختلف معاملاتی محبوب شده است [36،37] و به دلیل استحکام و اثربخشی آنها در بازارهای سهام کشورهای مختلف ارزیابی شده است. رویکرد چند لایه سه لایه پیشنهادی بهتر از یک استراتژی خرید و نگهدارنده معمولی انجام شده است [38]. چارچوب سه لایه سهام ، از جمله یک لایه انباشته ، آرماتور متا یادگیرنده و لایه گروهی ، با مجموعه داده های آزمایشی حاوی سهام S& P500 ، J. P. مورگان و مایکروسافت بین 1 ژانویه 2012 و 31 دسامبر 2019 مورد بررسی قرار گرفت. روش گروه پیشنهادی منجر به بهتر شدن شد. نتایج معاملاتی و بیش از حد بیش از حد. بازگشت نهایی بهتر از معیار بود. به تازگی ، یک رویکرد یادگیری تقویت کننده عمیق چند عامل برای تجارت سهام با استفاده از روش S& P500 با استفاده از روش پیاده روی به جلو ارائه و ارزیابی شد. نتایج آزمایش نشان داد که رویکرد یادگیری عمیق چند جانبه بهتر از یک استراتژی خرید و نگهدارنده معمولی عمل می کند [39]. این مطالعه از این روش به عنوان خط پایه استفاده می شود.

3. روش شناسی

یادگیری تقویت کننده (RL) در حال یادگیری است که چه کاری باید انجام شود ، یعنی نحوه نقشه برداری موقعیت ها به اقدامات ، برای به حداکثر رساندن یک سیگنال پاداش عددی. بر خلاف یادگیری تحت نظارت ، عامل RL هرگز نمونه هایی از عملکرد صحیح یا نادرست را برای تقویت یادگیری دریافت نمی کند [24]. درعوض ، نماینده فقط با اطلاعات دولتی از محیط خود ارائه می شود. سپس نماینده یاد می گیرد که از طریق دولت عمل کند. این می آموزد که چه عملی از پاداش های به دست آمده برای تلاش برای اقدامات مختلف به خودی خود بهترین است. تنها هدف عامل حداکثر رساندن پاداش های دریافت شده است.

ما چارچوبی را برای تعیین سیگنال های معاملاتی پیشنهاد می کنیم تا بسته به مقدار Q در هر لحظه سود کل را به حداکثر برساند. در چارچوب ما ، ما الگوریتم یادگیری عمیق Q را در بورس سهام پیشنهادی MNIH اصلاح می کنیم [24]. آنها شبکه های عصبی عمیق و یادگیری Q را برای تسلط بر سیاست های کنترل دشوار برای بازی های رایانه ای Atari 2600 ترکیب کردند.

شکل 1 چارچوب پیشنهادی ما را نشان می دهد. یک سیستم یادگیری تقویت شده شامل چهار عنصر اصلی است: یک خط مشی ، یک سیگنال پاداش ، عملکرد ارزش و به صورت اختیاری ، یک مدل از محیط. به طور خاص ، عامل و محیط در هر یک از توالی مراحل گسسته زمان ، t = 0 ، 1 ، 2 ، 3 ،… در هر مرحله t ، نماینده برخی از نمایندگی از وضعیت محیط زیست ، S را دریافت می کند._t∈ S جایی که S مجموعه ای از حالت های ممکن است ، و بر اساس آن یک عمل را انتخاب می کند ،_t∈ A (S_t)، در حالیکه_t) مجموعه اقدامات موجود در ایالت S است_tبشریک قدم بعد ، تا حدودی در نتیجه عمل خود ، نماینده پاداش عددی دریافت می کند ، r_t+ ₁∈ ℜ ، و خود را در حالت جدید پیدا می کند ، s_t ₊₁بشردر هر مرحله ، عامل نقشه برداری را از حالتها به احتمال انتخاب هر عمل ممکن پیاده سازی می کند. این نقشه برداری سیاست نماینده نامیده می شود و مشخص می شود π_tجایی که π_t(s ، a) احتمال اینکه a_t= a if s_t= s. روشهای یادگیری تقویت کننده چگونگی تغییر نماینده سیاست خود را در نتیجه تجربه خود مشخص می کند. هدف عامل ، به طور گسترده ، به حداکثر رساندن کل پاداش دریافت شده در طولانی مدت است.

در هر لحظه ، نماینده حالت را از محیط مشاهده می کند و سپس تصمیم می گیرد که با استفاده از شبکه Q عمیق چه اقدامی را انجام دهد. پس از اقدام ، نماینده پاداش دریافت می کند. تعاریف دقیق از ایالات ، اقدامات و پاداش هر نماینده و شبکه Q عمیق در بخش های بعدی ارائه شده است.

3. 1سیگنال دولت

سهام را در فاصله زمانی [1 ،… ، t] در نظر بگیرید. مشخص کردن O P T ، H P T ، L P T ، C P T ، V O T به عنوان قیمت باز ، بالاترین قیمت ، کمترین قیمت ، قیمت نزدیک و حجم سهام در زمان T به ترتیب. توجه داشته باشید که فاصله زمانی بین T - 1 و T نشان دهنده یک روز ، یک هفته یا یک ماه است. در این مقاله ، بازده ناخالص این پنج ویژگی را به عنوان ورودی Q-Leaing در نظر می گیریم. نمادهای بازده ناخالص به عنوان o t = o p t - o p t - 1 o p t - 1 ، h t = h p t - h p t - 1 h p t - 1 ، c t = c p t - c p t - 1 c p t t- 1 ، l t = l p t - l p t - 1 l p t - 1 ، v t = v o t - v o t - 1 v o t - 1.

S t ، 5 = [o t - 4 ، H t - 4 ، l t - 4 ، c t - 4 ، v t - 4 o t - 3 ، h t - 3 ، l t - 3 ، c t - 3 ،V T - 3 O T - 2 ، H T - 2 ، L T - 2 ، C T - 2 ، V T - 2 O T - 1 ، H T - 1 ، L T - 1 ، C T - 1 ، V T- 1 O T ، H T ، L T ، C T ، V T] ، S T ، 10 = [O T - 9 ، H T - 9 ، L T - 9 ، C T - 9 ، V T - 9 O T- 8 ، H T - 8 ، L T - 8 ، C T - 8 ، V T - 8… O T - 1 ، H T - 1 ، L T - 1 ، C T - 1 ، V T - 1 O T T، H T ، L T ، C T ، V T] ، و S T ، 20 = [O T - 19 ، H T - 19 ، L T - 19 ، C T - 19 ، V T - 19 O T - 18 ،H T - 18 ، L T - 18 ، C T - 18 ، V T - 18… O T - 1 ، H T - 1 ، L T - 1 ، C T - 1 ، V T - 1 O T ، H T ، H T ،به ترتیب L T ، C T ، V T].

اجزای اصلی سیگنال حالت_t∈ S ، جایی که S مجموعه ای از حالت ها است1، s₂، s₃, …>ویژگی های استخراج شده از داده های بازار ، از جمله قیمت باز ، بالاترین قیمت ، قیمت نزدیک ، کمترین قیمت و حجم. هر ایالت_tشامل k ∈ روز داده های سهام است. هر ویژگی به محدوده عادی می شود [1 ، 1]:

~~[o t - 2 ، h t - 2 ، c t - 2 ، l t - 2 ، v t - 2] ، [o t - 1 ، h t - 1 ، c t - 1 ، l t - 1 ، v t t- 1] ، [O T ، H T ، C T ، L T ، V T]]~~

~~o t = o p t - o p t - 1 o p t - 1 ، h t = h p t - h p t - 1 h p t - 1 ، c t = c p t - c c p t - 1 c p t - 1 ،~~

جایی که OP_tقیمت باز در زمان t ، hp است_tبالاترین قیمت در زمان t ، cp است_tقیمت نزدیک در زمان t ، l است_tکمترین قیمت در زمان t و v است_tحجم در زمان t است.