مطابقة الصور

لعدم الخلط مع Printing registration أو Printing registration.

Registering and summing multiple exposures of the same scene improve signal to noise ratio, allowing one to see things previously impossible to see. In this picture, the distant Alps are made visible, although they are tens of kilometers into the haze.

في علم الرؤية الحاسوبية إن مجموعات البيانات لمشهد واحد أو جسم معين التي تم الحصول عليها بزوايا رؤية مختلفة أو فترات زمنية تكون موجودة في أنظمة أحداثية مختلفة. عملية مطابقة الصور (Image registration) هي العملية لنقل مجموعات البيانات المختلفة إلى نظام أحداثي موحد. إن عملية مطابقة الصور هي عملية هامة لأنها تمكن من مقارنة أو دمج البيانات المأخوذة بقياسات مختلفة.

مطابقة الصور في مجال التصوير الطبي (مثلاُ: بيانات لمريض واحد مأخوذة على فترات زمنية مختلفة) تتضمن غالباً عملية مطابقة لدنة للصور (غير صلبة) وذلك لموائمة التغيرات الشكلية للأعضاء (بسبب التنفس، التغيرات التشريحية..الخ). من الممكن استخدم المطابقة الغير صلبة للصور من أجل مطابقة صور المريض مع الصور الموجودة في الأطلس الطبي وبالتالي تسهيل عمليات التشخيص.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

تصنيف الخوارزميات

خوارزميات بالإعتماد على المساحة - خوارزميات بالإعتماد على المعالم

تصنف خوارزميات مطابقة الصور في فئتين أساسيتين: الطرق التي تعتمد على المساحة والطرق التي تعتمد على المعالم. يطلق على الصورة الأصلية اسم الصورة المرجع كما يطلق على الصورة التي يراد مطابقتها مع الصورة المرجع اسم الصورة الهدف. في فئة المطابقة بالاعتماد على المساحة، تقوم الخوارزمية بتحليل هيكلية الصورة باستخدام مصفوفات الارتباط، تحويل فوريه، وغيرها من طرق تحليل هيكلية الصور. بشكل مقابل، فإن اغلب الطرق المعتمدة على معالم الصورة، فإنها بدلاً من تحليل هيكلية الصورة بشكل كامل تقوم بتحليل معالم الصورة كالمستقيمات والمنحنيات والنقاط والزوايا وتقاطع المستقيمات وحدود الأجسام... إلى آخره.

نموذج التحويل

من الممكن أيضا تصنيف خوارزميات مطابقة الصور تبعاً لنماذج التحويل المستخدمة لمطابقة فضاء الصورة الهدف مع فضاء الصورة المرجع. الفئة الأولى لنماذج التحويل يتضمن التحويل الخطي والذي هو عبارة عن خليط من عمليات نقل، دوران، تحجيم، قص، ومكونات منظورية. يكون التحويل الخطي عاماً ولذلك فإنه لن يكون قادراً على إجراء التغيرات الموضعية. بالعادة، لايحتاج إلى المكونات المنظورية من أجل مطابقة الصور، ولذلك يكون التحويل الخطي في هذه الحالة هو تحويل أفيني.

الفئة الثانية تتضمن التحويلات اللدنة (الغير صلبة). هذه التحويلات تسمح بالتحريف الموضعي لمعالم الصورة، وبالتالي تزود دعماً للتغيرات الموضعية. يتضمن التحويل غير الصلب اللف المتعدد الحدود، تقريب التوابع الأساسية الملساء (توابع سبلاين - توابع المويجات)، والموديلات الفيزيائية المستمرة (توابع السوائل اللزجة والتشوهات الفيزيائية الكبيرة).

الطرق المعتمدة على البحث والطرق المباشرة

من الممكن أيضاً تصنيف مطابقة الصور بحسب نوع البحث المستخدم في حساب تابع النقل بين نطاقي الصورتين. في الطرق المعتمدة على البحث يتم تقييم ومقارنة تأثير تغيرات الصور. في الطرق المباشرة مثل طريقة لوكاس كاندي والطرق المرحلية، فيتم حساب تقدير لتشوه الصورة من القيم الإحصائية للصورة ومن ثم تستخدم لتحديث التشوهات المقدرة للصورة بين النطاقين.

المطابقة في النطاق البعدي

تعمل العديد من خوارزميات مطابقة الصور في الفضاء البعدي للصورة مستخدمة معالم، ألوان، أو هيكل الصورة كشروط للمطابقة. في الفضاء البعدي تبدو الصور كما هي على طبيعتها كما تراها العين البشرية. توجد العديد من الطرق المعتمدة على مطابقة معالم الصور من أجل القيام بمطابقة يدوية للصور، حيث يقوم المستخدم باختيار عدة نقاط تحكم بين الصور. وعندما يتجاوز عدد النقاط المختارة العدد الأصغري المحتاج لتعريف تابع انتقال، تقوم خوارزمية تكرارية مثل خوارزمية النقاط الأقرب التكرارية بحساب الحل.

المطابقة في النطاق الترددي

الخوارزميات الأخرىلمطابقة الصور تستخدم خصائص المجال الترددي frequency-domain من أجل تحديد تابع التحويل مباشرة بين الصورتين. حيث يستخدم تحويل فوريه من أجل حساب العلاقة التبادلية المشتركة بين الصورتين وهي طريقة ذات أداء حسابي عالي.

طبيعة الصورة

يوجد تصنيف آخر مفيد هو المطابقة بين نوع واحد أو أنواع متعددة للصور. تقوم خوارزميات المطابقة بين نوع واحد من الصور بمطابقة الصورة ذات الطبيعة الواحدة (مثلاً: تم الحصول عليها باستخدام جهاز تصوير مماثل)، بينما تقوم خوارزميات المطابقة بين أنواع متعددة للصور بالمطابقة بين صور تم الحصول عليها من أجهزة تصوير مختلفة. هناك العديد من الأمثلة على مطابقة الصور ذات الأنماط المتعددة في حقل التصوير الطبي. تتضمن بعض الأمثلة المطابقة بين صور مأخوذة من التصوير بالأشعة المقطعية و التصوير بالرنين المغناطيسي للدماغ أو للجسم كاملاً باستخدام التصوير بالبوسيترون المشع والأشعة المقطعية من أجل التعرف على أماكن الورم السرطاني، أو مطابقة الصور ذات التباين العالي مع الصور ذات التباين المنخفض من أجل فصل صور أجزاء محددة من التشريح، ومطابقة صور الموجات فوق الصوتية و صور الأشعة المقطعية للبروستات في عمليات العلاج الإشعاعي.

تطبيقات أخرى

تستخدم عملية مطابقة الصور في مجالات الإستشعار عن بعد، التصوير الطبي، والرؤية الحاسوبية. وبسبب المجالات العديدة التي تستخدم فيها عملية مطابقة الصورة فإنه من المستحيل تطوير خوارزمية عامة تطبق على جميع الحالات.

عدم التأكد

There is a level of uncertainty associated with registering images that have any spatio-temporal differences. A confident registration with a measure of uncertainty is critical for many change detection applications such as medical diagnostics.

In remote sensing applications where a digital image pixel may represent several kilometers of spatial distance (such as NASA's LANDSAT imagery), an uncertain image registration can mean that a solution could be several kilometers from ground truth. Several notable papers have attempted to quantify uncertainty in image registration in order to compare results.^[1]^[2] However, many approaches to quantifying uncertainty or estimating deformations are computationally intensive or are only applicable to limited sets of spatial transformations.

التطبيقات

Registration of two MRI images of the brain

Image registration has applications in remote sensing (cartography updating), and computer vision. Due to the vast range of applications to which image registration can be applied, it is impossible to develop a general method that is optimized for all uses.

Medical image registration (for data of the same patient taken at different points in time such as change detection or tumor monitoring) often additionally involves elastic (also known as nonrigid) registration to cope with deformation of the subject (due to breathing, anatomical changes, and so forth).^[3]^[4]^[5] Nonrigid registration of medical images can also be used to register a patient's data to an anatomical atlas, such as the Talairach atlas for neuroimaging.

In astrophotography image alignment and stacking are often used to increase the signal to noise ratio for faint objects. Without stacking it may be used to produce a timelapse of events such as a planet's rotation of a transit across the Sun. Using control points (automatically or manually entered), the computer performs transformations on one image to make major features align with a second or multiple images. This technique may also be used for images of different sizes, to allow images taken through different telescopes or lenses to be combined.

In cryo-TEM instability causes specimen drift and many fast acquisitions with accurate image registration is required to preserve high resolution and obtain high signal to noise images. For low SNR data, the best image registration is achieved by cross-correlating all permutations of images in an image stack.^[6]

Image registration is an essential part of panoramic image creation. There are many different techniques that can be implemented in real time and run on embedded devices like cameras and camera-phones.

انظر أيضاً

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

المراجع

^ Simonson, K., Drescher, S., Tanner, F., A Statistics Based Approach to Binary Image Registration with Uncertainty Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 1, January 2007
^ Domokos, C., Kato, Z., Francos, J., Parametric estimation of affine deformations of binary images. Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing, 2008
^ Zhao, Shengyu; Lau, Tingfung; Luo, Ji; Chang, Eric I-Chao; Xu, Yan (2020). "Unsupervised 3D End-to-End Medical Image Registration With Volume Tweening Network". IEEE Journal of Biomedical and Health Informatics. 24 (5): 1394–1404. arXiv:1902.05020. doi:10.1109/JBHI.2019.2951024. ISSN 2168-2208. PMID 31689224. S2CID 61153704.
^ Chen, Junyu; He, Yufan; Frey, Eric C.; Li, Ye; Du, Yong (2021-04-13). "ViT-V-Net: Vision Transformer for Unsupervised Volumetric Medical Image Registration". arXiv:2104.06468 [eess.IV].
^ Burduja, Mihail; Ionescu, Radu Tudor (2021). "Unsupervised Medical Image Alignment with Curriculum Learning". 2021 IEEE International Conference on Image Processing (ICIP). pp. 3787–3791. arXiv:2102.10438. doi:10.1109/ICIP42928.2021.9506067. ISBN 978-1-6654-4115-5. S2CID 231986287.
^ Savitsky; El Baggari; Clement; Hovden; Kourkoutis (2018). "Image registration of low signal-to-noise cryo-STEM data". Ultramicroscopy. 191: 56–65. arXiv:1710.09281. doi:10.1016/j.ultramic.2018.04.008. PMID 29843097. S2CID 26983019.

وصلات خارجية

Richard Szeliski, Image Alignment and Stitching: A Tutorial. Foundations and Trends in Computer Graphics and Computer Vision, 2:1-104, 2006.
B. Fischer, J. Modersitzki: Ill-posed medicine – an introduction to image registration. Inverse Problems, 24:1–19, 2008
Barbara Zitová, Jan Flusser: Image registration methods: a survey. Image Vision Comput. 21(11): 977-1000 (2003).
C. Je and H.-M. Park. Optimized Hierarchical Block Matching for Fast and Accurate Image Registration. Signal Processing: Image Communication, Volume 28, Issue 7, pp. 779–791, August, 2013.
Registering Multimodal MRI Images using Matlab.
elastix Archived 2012-04-19 at the Wayback Machine: a toolbox for rigid and nonrigid registration of images.
niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
Image Registration techniques using MATLAB
Image Compare application automatically compares a pair of images and highlights their differences. This application runs in desktop and mobile phone browsers without requiring installation.

[simonson-1] Simonson, K., Drescher, S., Tanner, F., A Statistics Based Approach to Binary Image Registration with Uncertainty Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 1, January 2007

[Domokos-2] Domokos, C., Kato, Z., Francos, J., Parametric estimation of affine deformations of binary images. Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing, 2008

[3] Zhao, Shengyu; Lau, Tingfung; Luo, Ji; Chang, Eric I-Chao; Xu, Yan (2020). "Unsupervised 3D End-to-End Medical Image Registration With Volume Tweening Network". IEEE Journal of Biomedical and Health Informatics. 24 (5): 1394–1404. arXiv:1902.05020. doi:10.1109/JBHI.2019.2951024. ISSN 2168-2208. PMID 31689224. S2CID 61153704.

[4] Chen, Junyu; He, Yufan; Frey, Eric C.; Li, Ye; Du, Yong (2021-04-13). "ViT-V-Net: Vision Transformer for Unsupervised Volumetric Medical Image Registration". arXiv:2104.06468 [eess.IV].

[5] Burduja, Mihail; Ionescu, Radu Tudor (2021). "Unsupervised Medical Image Alignment with Curriculum Learning". 2021 IEEE International Conference on Image Processing (ICIP). pp. 3787–3791. arXiv:2102.10438. doi:10.1109/ICIP42928.2021.9506067. ISBN 978-1-6654-4115-5. S2CID 231986287.

[Savitsky-6] Savitsky; El Baggari; Clement; Hovden; Kourkoutis (2018). "Image registration of low signal-to-noise cryo-STEM data". Ultramicroscopy. 191: 56–65. arXiv:1710.09281. doi:10.1016/j.ultramic.2018.04.008. PMID 29843097. S2CID 26983019.

[1]

[2]

[3]

[4]

[5]

[6]