Please use this identifier to cite or link to this item: https://hdl.handle.net/20.500.13087/2378
Title: Deep learning based offline handwritten character recognizer systems with a multilingual handwritten character dataset
Other Titles: Derin öğrenme tabanlı çevirimdışı etkileşimsiz el yazılı karakter tanıma sistemleri ile çok dilli el yazısı karakter veri seti
Authors: Hoşcan, Yaşar
Hajnal, Éva Nagyné
Bartos, Gaye Ediboğlu
Keywords: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol
Computer Engineering and Computer Science and Control
Issue Date: 2021
Publisher: Eskişehir Teknik Üniversitesi
Abstract: Yıllardır süregelen araştırmalara rağmen çevirimdışı (etkileşimsiz) el yazısı tanıma hala çözümlenememiş bir araşırma problemidir. Derin öğrenme konusundaki gelişmeler görüntü işleme konusunda çevirimdışı el yazısı tanımadayı da kapsayacak şekilde büyük gelişmeler sağlamıştır. Derin öğrenme yaklaşımları, kabiliyetlerini tam anlamı ile sergileyebilmek için büyük bir veri setine ihityaç duyarlar. Özellikle bazı dillerde yazılmış, genel kullanıma açık elyazısı veri setleri sayıca fazla değildir. Bu eksiklikten yola çıkarak bu çalışmada Türkçe ve Macarca el yazısı karakterlerini de içeren genel kullanıma açık çok dilli bir el yazısı karakter veri seti oluşturulmuştur. Bu çalışmada, oluşturulan veri setinin yanısıra iki tane çevirimdışı elyazısı tanıma sistemi geliştirilmiştir. Birinci sistem ayrıştırma temelli bir sistem olup, yine bu çalışmada geliştirilen bir derin öğrenme mimarisi ile çalışmaktadır. Bu mimariye giriş setini olarak, çalışma için toplanan veri setindeki karakterler üzerinden Derin Evrişimli Çekişmeli Üretici Ağlar (Deep Convolutional Generative Adversarial Networks) kullanılarak sentetik veriler yaratılmıştır. Önerilen ikinci el yazısı tanıma sistemi ise bir nesne algılama algorıtması olarak yeni ortaya sürülen YOLOv5 algorıtması temelli ayrıştırmasız bir elyazısı tanıma sistemidir. Nesne algılama algoritmaları genelde büyük resimler üzerinde bulunan bir ya da birçok nesnenin yerini ve de sınıfını algılarlar. Çok dilli veri setindeki karakterleri de 416×416 piksel bir alana sistematik olarak yerleştirerek, YOLOv5 e uygun bir giriş oluşturulmuştur. Sonuçlara bakıldığında ayrıştırma temelli sistem, tek dilde ayrık yazılmış el yazısı tanımada ideal sonuçlar vermektedir. Fakat, nesne tanıma tabanlı sistemi, hem tek dilli hem de çok dilli yazı tanımada, el yazısı ve ayrık yazılmış metinlerde ayrıştıma temelli yaklaşımdan daha iyi sonuçlar vermektedir.
Despite decades of research, offline handwriting recognition is still an unresolved research problem. Advancements in deep learning led to a boost in image processing domain in general including the recognition of offline handwritings. In order to max out the capabilities of deep learning-based methods, a large input set is essential. However, these is a lack of publicly available handwriting datasets, especially in certain languages. Absence of handwritten character datasets in Turkish and Hungarian was a prompt to create a handwritten character dataset in those languages. In this work, a public domain multilingual handwritten character dataset is generated. In addition to the proposed T-H-E Dataset, two different offline multilingual handwriting recognition systems were developed. The first one is a segmentation-based recognizer, using a novel deep learning architecture put forward in this study. In attempt to create a larger input for the network, synthetic characters based on the characters in TH-E Datasets are generated. Deep Convolutional Generative Adversarial Networks (DCGANs) are adopted to create synthetic data for augmenting the existing dataset. Additionally, a segmentation-free handwriting recognizer is proposed as the second recognizer. The latest version of YOLO network for object detection, namely YOLOv5 is applied to the system. An object detection algorithm takes a large image containing one or multiple objects as an input and predicts the location and class label of the objects. Based on this assumption, the handwritten characters are systematically placed onto a 416×416-pixel image thus creating a suitable input to YOLOv5 network. The results indicate that a segmentation-based recognition is ideal for the recognition of non-cursive single language handwritten texts. However, object recognition-based system outperforms the segmentation-based method in both single language and multilingual handwritten text recognition for cursive and non-cursive characters.
URI: https://hdl.handle.net/20.500.13087/2378
https://tez.yok.gov.tr/UlusalTezMerkezi/TezGoster?key=9MiDp3x86xrwjpi5-14w-UPYAkWOx86F4eZbbNPjTTWyM6XSwQJR-knYVkKIUkMl
Appears in Collections:Tez Koleksiyonu

Show full item record

CORE Recommender

Page view(s)

84
checked on Oct 3, 2022

Google ScholarTM

Check


Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.