مستندات

یک سند توکن شده سندی است که به عنوان مجموعه ای از کلمات (همچنین به عنوان نشانه ها شناخته می شود) که برای تجزیه و تحلیل متن استفاده می شود.

از اسناد توکن شده استفاده کنید:

• نشانه های پیچیده را در متن ، مانند آدرس های وب ، شکلک ها ، ایموجی ها و هشتگ ها تشخیص دهید.
• کلمات مانند کلمات متوقف را با استفاده از توابع removewords یا removestopwords حذف کنید.
• انجام کارهای پیش پردازش سطح کلمه مانند STEMMING یا LEMMATIZATION را با استفاده از عملکرد NormalizeWords انجام دهید.
• فرکانس های Word و N-Gram را با استفاده از اشیاء bagofwords و bagofngrams تجزیه و تحلیل کنید.
• با استفاده از توابع AddSentencedEtails و AddpartofspeechDetails ، جزئیات جمله و قسمت گفتار را اضافه کنید.
• برچسب های موجودیت را با استفاده از عملکرد AddentityDetails اضافه کنید.
• جزئیات وابستگی گرامری را با استفاده از عملکرد AddDependencyDetails اضافه کنید.
• جزئیات مربوط به نشانه ها را با استفاده از عملکرد Tokendetails مشاهده کنید.

این عملکرد از متن انگلیسی ، ژاپنی ، آلمانی و کره ای پشتیبانی می کند. برای یادگیری نحوه استفاده از TokenizedDocument برای سایر زبانها ، به ملاحظات زبان مراجعه کنید.

ایجاد

نحو

شرح

اسناد = TokenizedDocument یک سند توکن مقیاس دار و بدون توکن ایجاد می کند.

اسناد = TokenizedDocument (STR) عناصر یک آرایه رشته را نشان می دهد و یک آرایه سند توکن شده را برمی گرداند.

اسناد = TokenizedDocument (Str ، Name ، مقدار) گزینه های اضافی را با استفاده از یک یا چند آرگومان جفت ارزش نام مشخص می کند.

استدلال های ورودی

STR - ARRAY رشته متن ورودی |وکتور شخصیت |آرایه سلول بردارهای کاراکتر |آرایه سلولی آرایه های رشته ای

متن ورودی ، به عنوان یک آرایه رشته ، بردار کاراکتر ، آرایه سلول از بردارهای کاراکتر یا آرایه سلول آرایه های رشته مشخص شده است.

اگر متن ورودی قبلاً به کلمات تقسیم نشده باشد ، باید STR یک آرایه رشته ، بردار کاراکتر ، آرایه سلول بردارهای کاراکتر یا یک آرایه سلول از مقیاس های رشته ای باشد.

مثال: ["نمونه ای از یک سند کوتاه" ؛ "یک سند کوتاه دوم"]

مثال: "نمونه ای از یک سند واحد"

مثال:

اگر متن ورودی قبلاً به کلمات تقسیم شده است ، سپس "Tokenizemethod" را به عنوان "هیچ" مشخص کنید. اگر STR حاوی یک سند واحد باشد ، باید یک بردار رشته ای از کلمات ، یک آرایه سلول ردیف از بردارهای کاراکتر یا یک آرایه سلول حاوی یک بردار رشته ای از کلمات باشد. اگر STR حاوی چندین اسناد باشد ، باید یک آرایه سلول از آرایه های رشته باشد.

مثال: ["یک" مثال "" سند "]

مثال:

مثال:

مثال:

انواع داده ها: رشته |چار |سلول

استدلال های ارزش نام

جفت آرگومان های اختیاری را به عنوان name1 = value1 مشخص کنید. namen = rvaluen ، که در آن نام نام و مقدار آرگومان است مقدار مربوطه است. آرگومان های ارزش نام باید پس از سایر استدلال ها ظاهر شوند ، اما ترتیب جفت ها اهمیتی ندارند.

قبل از R2021A ، از کاما برای جدا کردن هر نام و مقدار استفاده کنید و نام را در نقل قول ها محصور کنید.

مثال: "DetectPattes" ، آدرس های ایمیل و آدرس های وب را تشخیص می دهد

Tokenizemethod - روش برای نشانه گذاری اسناد "یونیکد" |'Mecab' |شیء mecaboptions |'هیچ یک'

روش برای نشانه گذاری اسناد ، که به عنوان جفت جدا از کاما متشکل از "Tokenizemethod" و یکی از موارد زیر مشخص شده است:

• "Unicode" - متن ورودی را با استفاده از قوانین مبتنی بر UNICODE ind استاندارد ضمیمه شماره 29 [1] و ICU Tokenizer [2]. اگر STR یک آرایه سلول باشد ، عناصر STR باید مقیاس های رشته ای یا بردارهای کاراکتر باشند. اگر "زبان" "en" یا "de" باشد ، "یونیکد" پیش فرض است.
• 'Mecab' - متن ژاپنی و کره ای را با استفاده از توکین ساز Mecab نشان می دهد [3]. اگر "زبان" "ja" یا "ko" باشد ، "mecab" پیش فرض است.
• Mecaboptions Object - متن ژاپنی و کره ای را با استفاده از گزینه های MECAB که توسط یک شیء Mecaboptions مشخص شده است ، نشانه گذاری کنید.
• "هیچ یک" - متن ورودی را نشان نمی دهد.

اگر متن ورودی قبلاً به کلمات تقسیم شده است ، سپس "Tokenizemethod" را به عنوان "هیچ" مشخص کنید. اگر STR حاوی یک سند واحد باشد ، باید یک بردار رشته ای از کلمات ، یک آرایه سلول ردیف از بردارهای کاراکتر یا یک آرایه سلول حاوی یک بردار رشته ای از کلمات باشد. اگر STR حاوی چندین اسناد باشد ، باید یک آرایه سلول از آرایه های رشته باشد.

DetectPattes - الگوهای نشانه های پیچیده برای تشخیص "همه" (پیش فرض) |وکتور شخصیت |آرایه رشته |آرایه سلول از بردارهای شخصیت

الگوهای نشانه های پیچیده برای تشخیص ، به عنوان جفت جدا از کاما متشکل از "DetectPattes" و "None" ، "All" یا یک آرایه رشته یا سلول حاوی یک یا چند مورد از موارد زیر مشخص شده است.

• "آدرس ایمیل"-آدرس های ایمیل را تشخیص دهید. به عنوان مثال ، با "[email protected]" به عنوان یک نشانه واحد رفتار کنید.
• "آدرس وب"-آدرس های وب را تشخیص دهید. به عنوان مثال ، با "https://www.mathworks.com" به عنوان یک نشانه واحد رفتار کنید.
• "هشتگ" - هشتگ را تشخیص دهید. به عنوان مثال ، "#matlab" را به عنوان یک نشانه واحد رفتار کنید.
• "ation"-تشخیص مطالب. به عنوان مثال ، با "mathworks" به عنوان یک نشانه واحد رفتار کنید.
• "شکلک" - شکلک ها را تشخیص دهید. به عنوان مثال ، ": D" را به عنوان یک نشانه واحد رفتار کنید.

اگر DetectPattes "None" باشد ، این عملکرد هیچ الگوی توکن پیچیده ای را تشخیص نمی دهد. اگر DetectPattes "All" باشد ، این تابع تمام الگوهای توکن پیچیده ذکر شده را تشخیص می دهد.

مثال: "DetectPattes" ، "هشتگ"

مثال: "DetectPattes" ،

انواع داده ها: char |رشته |سلول

CustomTokens - نشانه های سفارشی برای تشخیص '' (پیش فرض) |آرایه رشته |وکتور شخصیت |آرایه سلول بردارهای کاراکتر |جدول

نشانه های سفارشی برای تشخیص ، به عنوان جفت جدا از کاما متشکل از "CustomTokens" و یکی از موارد زیر مشخص شده است.

• یک آرایه رشته ، بردار کاراکتر یا آرایه سلول از بردارهای کاراکتر حاوی نشانه های سفارشی.
• یک جدول حاوی نشانه های سفارشی در ستونی به نام توکن و توکن مربوطه ستونی به نام نوع.

اگر نشانه های سفارشی را به عنوان یک آرایه رشته ، بردار کاراکتر یا آرایه سلول از بردارهای کاراکتر مشخص کنید ، این عملکرد نوع توکن را "سفارشی" اختصاص می دهد. برای مشخص کردن نوع توکن سفارشی ، از ورودی جدول استفاده کنید. برای مشاهده انواع توکن ، از عملکرد Tokendetails استفاده کنید.

مثال: "CustomTokens" ، ["C ++" "C#"]

انواع داده ها: char |رشته |جدول |سلول

RegulareXpressions - عبارات منظم برای تشخیص "" (پیش فرض) |آرایه رشته |وکتور شخصیت |آرایه سلول بردارهای کاراکتر |جدول

عبارات منظم برای تشخیص ، به عنوان جفت جدا از کاما متشکل از "تنظیم مجدد" و یکی از موارد زیر مشخص شده است.

• یک آرایه رشته ، بردار کاراکتر یا آرایه سلول از بردارهای کاراکتر حاوی عبارات منظم.
• یک جدول حاوی عبارات منظم ستونی به نام الگوی و انواع توکن مربوطه در ستونی به نام نوع.

اگر عبارات منظم را به عنوان یک آرایه رشته ، بردار کاراکتر یا آرایه سلول از بردارهای کاراکتر مشخص کنید ، این عملکرد نوع توکن را "سفارشی" اختصاص می دهد. برای مشخص کردن نوع توکن سفارشی ، از ورودی جدول استفاده کنید. برای مشاهده انواع توکن ، از عملکرد Tokendetails استفاده کنید.

مثال: "regularexpressions" ، ["ver: d+" "rev: d+"]

انواع داده ها: char |رشته |جدول |سلول

ToplevelDomains-دامنه های سطح بالا برای استفاده برای وکتور شخصیت تشخیص آدرس وب |آرایه رشته |آرایه سلول از بردارهای شخصیت

دامنه های سطح بالا برای استفاده برای تشخیص آدرس وب ، که به عنوان جفت جدا از کاما متشکل از "ToplevelDomains" و یک بردار کاراکتر ، آرایه رشته یا آرایه سلول از بردارهای کاراکتر مشخص شده است. به طور پیش فرض ، این تابع از خروجی TolevelDomains استفاده می کند.

این گزینه فقط در صورتی اعمال می شود که "DetectPattes" "همه" باشد یا شامل "آدرس وب" باشد.

مثال: "topleveldomains" ، ["com" "خالص" "org"]

انواع داده ها: char |رشته |سلول

زبان - زبان 'en' |'ja' |'de' |'ko'

زبان ، به عنوان جفت جدا از کاما متشکل از "زبان" و یکی از موارد زیر مشخص شده است.

• 'en' - انگلیسی. این گزینه همچنین مقدار پیش فرض "Tokenizemethod" را به "یونیکد" تنظیم می کند.
• 'Ja' - ژاپنی. این گزینه همچنین مقدار پیش فرض "Tokenizemethod" را به "mecab" تعیین می کند.
• "د" - آلمانی. این گزینه همچنین مقدار پیش فرض "Tokenizemethod" را به "یونیکد" تنظیم می کند.
• 'ko' - کره ای. این گزینه همچنین مقدار پیش فرض "Tokenizemethod" را به "mecab" تعیین می کند.

اگر یک مقدار را مشخص نکنید ، پس عملکرد با استفاده از عملکرد CorpusLanguage ، زبان را از متن ورودی تشخیص می دهد.

این گزینه جزئیات زبان نشانه ها را مشخص می کند. برای مشاهده جزئیات زبان نشانه ها ، از Tokendetails استفاده کنید. این جزئیات زبان ، رفتار removestopwords ، addpartofspeechdetails ، normalizewords ، addsentencendetails و indeentitydetails را بر روی نشانه ها تعیین می کند.

برای اطلاعات بیشتر در مورد پشتیبانی از زبان در جعبه ابزار تحلیلی متن ، به ملاحظات زبان مراجعه کنید.

مثال: "زبان" ، "ja"

خواص

واژگان - کلمات منحصر به فرد در آرایه رشته اسناد

کلمات منحصر به فرد در اسناد ، که به عنوان یک آرایه رشته مشخص شده اند. کلمات به هیچ ترتیب خاصی ظاهر نمی شوند.

انواع داده ها: رشته

توابع

پیش پردازش

جزئیات توکن

صادر کردن

دستکاری و تبدیل

نمایش دادن

مثال ها

متن را توکن کنید

از یک آرایه رشته ، اسناد توکن را ایجاد کنید.

str = ["نمونه ای از یک جمله کوتاه" "یک جمله کوتاه دوم"]

str =رشته 2x1"نمونه ای از یک جمله کوتاه" "یک جمله کوتاه دوم"

اسناد = TokenizedDocument (STR)

اسناد = 2x1 tokenizedDocument: 6 توکن: نمونه ای از جمله کوتاه 4 توکن: یک جمله کوتاه دوم

نشانه های پیچیده را تشخیص دهید

یک سند توکن شده از رشته رشته ایجاد کنید. به طور پیش فرض ، عملکرد با هشتگ "#Matlab" ، شکلک ":-d" و آدرس وب "https://www.mathworks.com/help" به عنوان نشانه های مجرد رفتار می کند.

str ="بیاموزید که چگونه متن را در #matlab تجزیه و تحلیل کنید!:-D به https://www.mathworks.com/help/ مراجعه کنید"؛سند = TokenizedDocument (STR)

سند = TokenizedDocument: 11 نشانه: یاد بگیرید که چگونه متن را در #Matlab تحلیل کنید!:-D به https://www.mathworks.com/help/ مراجعه کنید

برای تشخیص فقط هشتگ ها به عنوان نشانه های پیچیده ، گزینه "DetectPattes" را فقط "هشتگ" مشخص کنید. این تابع سپس شکلک ":-d" و آدرس وب "https://www.mathworks.com/help" را به چندین نشانه تبدیل می کند.

سند = tokenizedDocument (str ،"DetectPattes","هشتگ")

سند = TokenizedDocument: 24 نشانه: یاد بگیرید که چگونه متن را در #Matlab تحلیل کنید!: - D به https: / / www مراجعه کنید. Mathworks.com / کمک /

کلمات توقف را از اسناد حذف کنید

کلمات متوقف را از مجموعه ای از اسناد با استفاده از removestopwords حذف کنید. عملکرد TokenizedDocument تشخیص می دهد که اسناد به زبان انگلیسی هستند ، بنابراین حذف کلمات کلمات کلمات متوقف انگلیسی را حذف می کند.

اسناد = tokenizedDocument ([["نمونه ای از یک جمله کوتاه" "یک جمله کوتاه دوم"]) ؛NewDocument = removestopwords (اسناد)

NewDocument = 2x1 tokenizedDocument: 3 توکن: مثال کوتاه جمله 3 توکن: جمله کوتاه دوم

کلمات STEM در اسناد

کلمات را در یک آرایه سند با استفاده از Porter Stemmer ساقه دهید.

اسناد = tokenizedDocument ([["مجموعه ای از کلمات کاملاً بیان شده" "مجموعه دیگری از کلمات"]) ؛NewDocument = NormalizeWords (اسناد)

NewDocument = 2x1 tokenizedDocument: 6 توکن: یک کلمه strongli جمع آوری کلمه 4 نشانه: جمع آوری Anoth of Word

نشانه های سفارشی را مشخص کنید

عملکرد TokenizedDocument ، به طور پیش فرض ، کلمات و نشانه هایی را که حاوی نمادها هستند ، تقسیم می کند. به عنوان مثال ، عملکرد "C ++" و "C#" را به چندین نشانه تقسیم می کند.

str ="من در Matlab ، C ++ و C#تجربه شده ام."؛اسناد = TokenizedDocument (STR)

اسناد = TokenizedDocument: 14 نشانه: من در Matlab ، C + + و C # تجربه می کنم.

برای جلوگیری از تقسیم توکن ها که حاوی نمادها هستند ، نشانه های سفارشی را با استفاده از گزینه "CustomTokens" مشخص کنید.

اسناد = tokenizedDocument (str ،"CustomTokens",["C ++" "C#"])

اسناد = TokenizedDocument: 11 نشانه: من در Matlab ، C ++ و C# تجربه می کنم.

نشانه های سفارشی دارای نوع "سفارشی" هستند. جزئیات توکن را مشاهده کنید. نوع ستون شامل انواع توکن است.

tdetails = tokendetails (اسناد)

tdetails =جدول 5 × 5Token DocumentNumber Linenumber Type Language _____________ ______________ __________ ___________ ________ "I" 1 1 حروف en "Am" 1 1 حروف "با تجربه" 1 1 حروف en "در" 1 1 حروف "en" matlab "1 1 حروف en" ، "1 1 1نگارشی en "c ++" 1 1 custom en "،" 1 1 نگارشی en "و" 1 1 en "c#" 1 1 custom en "."1 1 نگارشی

برای مشخص کردن انواع توکن خود ، نشانه های سفارشی را به عنوان یک جدول با نشانه ها در ستونی به نام توکن و انواع موجود در ستونی به نام نوع وارد کنید. برای اختصاص یک نوع سفارشی به یک نشانه که شامل نمادها نیست ، در جدول نیز قرار دهید. به عنوان مثال ، یک جدول ایجاد کنید که "MATLAB" ، "C ++" و "C#" را به نوع توکن "برنامه نویسی-زبان" اختصاص دهد.

t = جدول ؛t. token = ["ماتلب" "C ++" "C#"] '؛t. type = ["زبان برنامه نویسی" "زبان برنامه نویسی" "زبان برنامه نویسی"]'

T=جدول 3 × 2نوع توکن ________ ______________________ "MATLAB" "برنامه نویسی-زبان" "C ++" "برنامه نویسی-زبان" "C#" "برنامه نویسی-زبان"

متن را با استفاده از جدول نشانه های سفارشی نشانه گذاری کرده و جزئیات توکن را مشاهده کنید.

اسناد = tokenizedDocument (str ،"CustomTokens"، t) ؛tdetails = tokendetails (اسناد)

tdetails =جدول 5 × 5Token DocumentNumber Linenumber Type Language _____________ ______________ __________ __________________ ________ ________ "I" 1 1 حروف "AM" 1 1 حروف "با تجربه" 1 1 حروف en "در" 1 1 حروف "en" 1 1 برنامه نویسی-زبان "،"1 1 نگارشی en "C ++" 1 1 برنامه نویسی-زبان EN "،" 1 1 نگارشی en "و" 1 1 حروف en "C#" 1 1 برنامه نویسی-زبان EN "."1 1 نگارشی

نشانه های سفارشی را با استفاده از عبارات منظم مشخص کنید

عملکرد TokenizedDocument ، به طور پیش فرض ، کلمات و نشانه های حاوی نمادها را تقسیم می کند. به عنوان مثال ، عملکرد متن "ver: 2" را به چندین نشانه تقسیم می کند.

str ="ارتقا یافته به ver: 2 Rev: 3."؛اسناد = TokenizedDocument (STR)

اسناد = TokenizedDocument: 9 نشانه: به ارتقاء به Ver: 2 Rev: 3.

برای جلوگیری از تقسیم توکن ها که الگوهای خاصی دارند ، این الگوهای را با استفاده از گزینه "RegulareXpressions" مشخص کنید.

عبارات منظم را برای تشخیص نشانه های نشان دهنده نسخه و شماره های تجدید نظر مشخص کنید: رشته های رقم که به ترتیب پس از "ver:" و "Rev:" ظاهر می شوند.

اسناد = tokenizedDocument (str ،'عبارات با قاعده',["ver:  d+" "Rev:  D+"])

اسناد = TokenizedDocument: 5 نشانه: به ارتقاء به Ver: 2 Rev: 3.

توکن های سفارشی ، به طور پیش فرض ، از نوع "سفارشی" توکن برخوردار هستند. جزئیات توکن را مشاهده کنید. نوع ستون شامل انواع توکن است.

tdetails = tokendetails (اسناد)

tdetails =5 × 5 جدولToken DocumentNumber Linenumber Type Language __________ ______________ __________ ___________ ________ "ارتقا یافته" 1 1 نامه en "به" 1 1 حروف en "ver: 2" 1 1 Custom en "rev: 3" 1 1 Custom en "."1 1 نگارشی

برای مشخص کردن انواع توکن خود ، عبارات منظم را به عنوان یک جدول با عبارات معمولی در یک ستونی به نام الگوی و انواع توکن در ستونی به نام وارد کنید.

t = جدول ؛t. patte = ["ver:  d+" "Rev:  D+"] '؛t. type = ["نسخه" "تجدید نظر"]'

T=جدول 2 × 2نوع الگوی _________ __________ "ver:  d+" "نسخه" "rev:  d+" "تجدید نظر"

متن را با استفاده از جدول نشانه های سفارشی نشانه گذاری کرده و جزئیات توکن را مشاهده کنید.

اسناد = tokenizedDocument (str ،'عبارات با قاعده'، t) ؛tdetails = tokendetails (اسناد)

tdetails =5 × 5 جدولToken DocumentNumber Linenumber Type زبان __________ ______________ __________ ___________ ________ "ارتقا یافته" 1 1 نامه en "به" 1 1 حروف en "ver: 2" 1 1 نسخه en "rev: 3" 1 1 revision en "."1 1 نگارشی

اسناد جستجو برای وقایع کلمه

داده های مثال را بارگیری کنید. پرونده soetspreproces. txt حاوی نسخه های از پیش پردازش شده از غزل های شکسپیر است. این پرونده شامل یک غزل در هر خط است که کلمات با یک فضا از هم جدا شده اند. متن را از soetspreproces. txt استخراج کنید ، متن را به اسناد در شخصیت های Newline تقسیم کرده و سپس اسناد را نشانه گذاری کنید.

نام پرونده ="Soetspreprocesed. txt"؛STR = ExtractFileText (نام پرونده) ؛textData = تقسیم (str ، newline) ؛اسناد = tokenizedDocument (textData) ؛

کلمه "زندگی" را جستجو کنید.

tbl = زمینه (اسناد ،"زندگی") ؛سر (TBL)

متن متن کلمه ________________________________________________________ ________ ____ ____ ____ "مصرف خود خود را مجرد زندگی کنید آه ، شما بدون صدور" 9 10 "خطوط تقلبی تقلبی زندگی زمان تعمیر زندگی" 16 35 "D خطوط تقلبی زندگی زمان تعمیر زندگی مداد" 16 36 "بهشت می شناسد دنقسمتهای نیمه نوشتن B "17 14" او چشمان طولانی زندگی می کند "18 69" سفارت مناقصه عشق تو ساخته شده چهار سینک به تنهایی "45 23Live Second Life Second Head ere Beautys "68 27

وقایع را در یک آرایه رشته مشاهده کنید.

tbl. context

جواب =23x1 رشته"مصرف خود زندگی مجرد خود را آهک بی صدت" "خطوط تقلبی و تقلبی زندگی زمان تعمیر زندگی" "D خطوط تقلبی زندگی تعمیر زندگی زمان تعمیر زندگی مداد"زندگی تو "" سفارت دلپذیر عشق تو زندگی چهار سینک به تنهایی """ ST وثیقه باید زندگی خود را از بین ببرد "زندگی به زندگی مقبره زندگی می کند زندگی fa "" زندگی به ارمحداقل زندگی به پایان رسیده است که بهتر است ""st vex ذهن ناشایست زندگی شما را به دروغ می گویند "آمد و مادربزرگ