تعلم متحد

(تم التحويل من Federated learning)

التعلم المتحد Federated learning (الذي يُعرف أيضاً بالتعلم المشترك) collaborative learning هي تقنية التعلم الآلي التي تدرب خوارزمية عبر أجهزة هامشية لامركزية متعددة أو مخدمات تحتوي على عينات بيانات، دون تبادلها. يتناقض هذا النهج مع تقنيات التعلم الآلي المركزية التقليدية حيث يتم تحميل جميع مجموعات البيانات المحلية إلى مخدم واحد، بالإضافة إلى الأساليب اللامركزية الكلاسيكية التي تفترض غالباً أن عينات البيانات المحلية موزعة بشكل متماثل.

يمكّن التعلم المتحد العديد من الجهات الفاعلة من بناء نموذج تعلم آلي قوي ومشترك دون مشاركة البيانات، مما يسمح بمعالجة القضايا الحرجة مثل خصوصية البيانات وأمن البيانات وحقوق الوصول إلى البيانات والوصول إلى بيانات غير متجانسة. تنتشر تطبيقاتها في عدد من الصناعات بما في ذلك الدفاع والاتصالات السلكية واللاسلكية و إنترنت الأشياء والصيدلة.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

تعريف

يهدف التعلم المتحد إلى تدريب خوارزمية التعلم الآلي، على سبيل المثال الشبكة العصبية العميقة، على مجموعات بيانات محلية متعددة موجودة في العقد المحلية دون تبادل عينات البيانات بشكل صريح. يتمثل المبدأ العام في تدريب النماذج المحلية على عينات البيانات المحلية وتبادل الپارامترات (على سبيل المثال، أوزان وانحيازات الشبكة العصبية العميقة) بين هذه العقد المحلية عند بعض الترددات لإنشاء نموذج عالمي مشترك بكل العقد.

يكمن الاختلاف الرئيسي بين التعلم المتحد والتعلم الموزع في الافتراضات الموضوعة على خصائص مجموعات البيانات المحلية،[1]حيث أن التعلم الموزع يهدف في الأصل إلى موازاة قدرة الحوسبة حيث يهدف التعلم المتحد في الأصل إلى التدريب على مجموعات البيانات غير المتجانسة. بينما يهدف التعلم الموزع أيضاً إلى تدريب نموذج واحد على خوادم متعددة، فإن الافتراض الأساسي الشائع هو أن مجموعات البيانات المحلية موزعة بشكل متماثل (i.i.d.) ولها نفس الحجم تقريباً. لم يتم إنشاء أي من هذه الفرضيات للتعلم المتحد؛ بدلاً من ذلك، تكون مجموعات البيانات عادةً غير متجانسة وقد تمتد أحجامها إلى عدة أوامر من حيث الحجم. علاوة على ذلك، قد يكون العملاء المشاركون في التعلم المتحد غير موثوقين لأنهم معرضون لمزيد من الإخفاقات أو الانقطاعات نظرًا لأنهم يعتمدون عموماً على وسائط اتصال أقل قوة (على سبيل المثال Wi-fi) وأنظمة تعمل بالبطارية (مثل الهواتف الذكية وأجهزة إنترنت الأشياء) مقارنة بالتعلم الموزع حيث تكون العقد عادةً مراكز البيانات التي تتمتع بقدرات حوسبية قوية ومتصلة ببعضها البعض بشبكات سريعة.[2]


التعلم المركزي المتحد

في إعداد التعلم المتحد المركزي، يتم استخدام مخدم مركزي لتنظيم الخطوات المختلفة للخوارزميات وتنسيق جميع العقد المشاركة أثناء عملية التعلم. المخدم مسؤول عن اختيار العقد في بداية عملية التدريب وتجميع تحديثات النموذج المستلمة. نظراً لأن جميع العقد المحددة يجب أن ترسل تحديثات إلى كيان واحد، فقد يصبح المخدم ضيقاً في النظام.[2]

التعلم اللامركزي المتحد

في إعداد التعلم المتحد اللامركزي، تستطيع العقد تنسيق نفسها للحصول على النموذج الشامل. يمنع هذا الإعداد فشل نقطة واحدة حيث يتم تبادل تحديثات النموذج فقط بين العقد المترابطة دون تزامن المخدم المركزي. ومع ذلك، فإن طوبولوجية الشبكة المحددة قد تؤثر على أداء عملية التعلم.[2] انظر التعلم المتحد القائم على blockchain[3] والمراجع المرافقة.

Federated learning general process in central orchestrator setup
عملية التعلم العامة المتحدة في إعداد المنسق المركزي

السمات الأساسية

التعلم التكراري

لضمان الأداء الجيد للمهمة لنموذج التعلم الآلي المركزي النهائي، يعتمد التعلم المتحد على عملية تكرارية مقسمة إلى مجموعة ذرية من تفاعلات المخدم والتابع المعروفة باسم جولة التعلم المتحدة. تتكون كل جولة من هذه العملية من إرسال حالة النموذج الشامل الحالية إلى العقد المشاركة، وتدريب النماذج المحلية على هذه العقد المحلية لإنتاج مجموعة من تحديثات النماذج المحتملة في كل عقدة، ثم تجميع ومعالجة هذه التحديثات المحلية في تحديث شامل واحد و تطبيقه على النموذج الكلي.[2]

في المنهجية أدناه، يتم استخدام مخدم مركزي للتجميع، بينما تقوم العقد المحلية بإجراء تدريب محلي بناءً على أوامر المخدم المركزي. ومع ذلك، تؤدي الاستراتيجيات الأخرى إلى نفس النتائج بدون مخدمات مركزية، في نهج نظير إلى نظير، باستخدام التناقل[4]أو منهجيات الإجماع.[5]

بافتراض أن الجولة المتحدة تتكون من تكرار واحد لعملية التعلم، يمكن تلخيص إجراء التعلم على النحو التالي:[6]

  1. التهيئة: وفقاً لمدخلات المخدم، يتم اختيار نموذج التعلم الآلي (على سبيل المثال، الانحدار الخطي، والشبكة العصبية، التعزيز) ليتم تدريبه على العقد المحلية وتهيئته. ثم يتم تنشيط العقد وانتظار المخدم المركزي لإعطاء المهام الحسابية.
  2. اختيار التابع:يتم تحديد جزء من العقد المحلية لبدء التدريب على البيانات المحلية. تحصل العقد المحددة على النموذج الإحصائي الحالي بينما تنتظر العقد الأخرى الجولة المتحدة التالية.
  3. التكوين: يأمر المخدم المركزي العقد المختارة بالخضوع لتدريب النموذج على بياناتها المحلية بطريقة محددة مسبقاً (على سبيل المثال، لبعض تحديثات الدُفعات المصغرة لـ انحدار التدرج).
  4. الإبلاغ: ترسل كل عقدة محددة نموذجها المحلي إلى المخدم للتجميع. يقوم المخدم المركزي بتجميع النماذج المستلمة وإعادة إرسال تحديثات النموذج إلى العقد. كما أنه يعالج حالات فشل العقد غير المتصلة أو تحديثات النموذج المفقودة. بدأت الجولة الموحدة التالية بالعودة إلى مرحلة اختيار التابع.
  5. النتيجة: بمجرد استيفاء معيار الإنهاء المحدد مسبقاً (على سبيل المثال، الوصول إلى الحد الأقصى لعدد التكرارات أو تكون دقة النموذج أكبر من الحد الأدنى)، يقوم المخدم المركزي بتجميع التحديثات ووضع اللمسات الأخيرة على النموذج الشامل.

يفترض الإجراء الذي تم النظر فيه من قبل تحديثات النموذج المتزامنة. قدمت التطورات الحديثة في التعلم المتحد تقنيات جديدة لمعالجة عدم التزامن أثناء عملية التدريب. بالمقارنة مع الأساليب المتزامنة حيث يتم تبادل النماذج المحلية بمجرد إجراء الحسابات لجميع طبقات الشبكة العصبية، تستفيد تلك غير المتزامنة من خصائص الشبكات العصبونية لتبادل تحديثات النموذج بمجرد توفر حسابات طبقة معينة. يشار إلى هذه التقنيات أيضاً بشكل شائع باسم التعلم المقسم[7][8]ويمكن تطبيقها في كل من زمن التدريب والاستدلال بغض النظر عن إعدادات التعلم المتحد المركزي أو اللامركزي.[2]

البيانات غير المستقلة والموزعة بشكل مماثل

في معظم الحالات، لا ينطبق افتراض العينات المستقلة والموزعة بشكل مماثل عبر العقد المحلية على إعدادات التعلم الموحدة. في ظل هذا الإعداد، قد يختلف أداء عملية التدريب بشكل كبير وفقاً لعدم توازن عينات البيانات المحلية بالإضافة إلى توزيع الاحتمالية الخاصة لأمثلة التدريب (على سبيل المثال، الميزات و التسميات) المخزنة في العقد المحلية. لمزيد من التحقيق في تأثيرات البيانات غير iid، يأخذ الوصف التالي في الاعتبار التصنيفات الرئيسية التي قدمها پيتر كيروز وآخرون. في عام 2019.[2]

يعتمد وصف البيانات غير المستقلة والموزعة بشكل مماثل على تحليل الاحتمال المشترك بين السمات والتسميات لكل عقدة. وهذا ما يسمح بفصل كل مساهمة وفقاً للتوزيع المحدد المتاح في العقد المحلية. يمكن تلخيص التصنيفات الرئيسية للبيانات غير المستقلة والموزعة بشكل مماثل iid على النحو التالي:[2]

  • التحول المتغير: قد تخزن العقد المحلية أمثلة لها توزيعات إحصائية مختلفة مقارنة بالعقد الأخرى. يوجد مثال في مجموعات البيانات معالجة اللغة الطبيعية حيث يكتب الأشخاص عادةً نفس الأرقام / الأحرف ذات عروض أو خطوط مائلة مختلفة.[2]
  • التحول الاحتمالي المسبق: قد تقوم العقد المحلية بتخزين التسميات التي لها توزيعات إحصائية مختلفة مقارنة بالعقد الأخرى. يمكن أن يحدث هذا إذا كانت مجموعات البيانات محلية و / أو مقسمة ديموغرافياً. على سبيل المثال، تختلف مجموعات البيانات التي تحتوي على صور للحيوانات اختلافاً كبيراً من بلد إلى آخر.[2]
  • تحول المفهوم (نفس التسميات، ميزات مختلفة): قد تشترك العقد المحلية في نفس التسميات ولكن بعضها يتوافق مع ميزات مختلفة في العقد المحلية المختلفة. على سبيل المثال، يمكن أن تختلف الصور التي تصور كائناً معيناً وفقاً لظروف الطقس التي تم التقاطها فيها.[2]
  • تحول المفهوم (نفس الميزات، تسميات مختلفة): قد تشترك العقد المحلية في نفس الميزات ولكن بعضها يتوافق مع تسميات مختلفة في العقد المحلية المختلفة. على سبيل المثال، في معالجة اللغة الطبيعية، قد ينتج عن تحليل المشاعر عواطف مختلفة حتى لو لوحظ نفس النص.[2]
  • عدم التوازن: قد تختلف البيانات المتاحة في العقد المحلية بشكل كبير في الحجم.[2]

تأخذ واصفات البيانات الأخرى غير iid في الحسبان التباين الديناميكي لطوبولوجية الشبكة،[9]بسبب فشل أو عدم أهلية العقد المحلية أثناء عملية التعلم المتحد، أو تحولات مجموعة البيانات، حيث قد لا تكون العقد المشاركة في مرحلة التدريب لتعلم النموذج الكلي مؤهلة أثناء الاستدلال بسبب القدرات الحسابية غير الكافية. ينتج عن هذا اختلاف بين إحصائيات التدريب واختبار عينات البيانات.[2]

الپارامترات التشعبية الحسابية

طبولوجية الشبكة

الطريقة التي يتم بها تجميع المخرجات الإحصائية المحلية والطريقة التي تتصل بها العقد مع بعضها البعض يمكن أن تتغير من النموذج المركزي الموضح في القسم السابق. يؤدي هذا إلى مجموعة متنوعة من مناهج التعلم المتحد: على سبيل المثال لا يوجد مخدم منسق مركزي أو اتصال عشوائي.[10]

على وجه الخصوص، تعد الشبكات الموزعة بدون منسق أحد الاختلافات المهمة. في هذه الحالة، لا يوجد مخدم مركزي يقوم بإرسال استعلامات إلى العقد المحلية وتجميع النماذج المحلية. وتقوم كل عقدة محلية بإرسال مخرجاتها إلى عدة أخرى يتم اختيارها عشوائياً، والتي تجمع نتائجها محلياً. هذا يقيد عدد المعاملات، وبالتالي يقلل في بعض الأحيان من زمن التدريب وتكلفة الحوسبة.[11]

پارامترات التعلم المتحد

بمجرد اختيار طوبولوجية شبكة العقدة، يمكن للمرء التحكم في پارامترات مختلفة لعملية التعلم المتحد (على عكس الپارامترات التشعبية الخاصة بنموذج التعلم الآلي) لتحسين التعلم:

  • عدد أدوار التعلم الموحدة:
  • العدد الإجمالي للعقد المستخدمة في العملية:
  • جزء من العقد المستخدمة في كل تكرار لكل عقدة:
  • يُستخدم حجم الحزمة المحلي في كل تكرار تعليمي:

يمكن أيضاً تعديل الپارامترات الأخرى المعتمدة على النموذج، مثل:

  • عدد التكرارات للتدريب المحلي قبل التجميع:
  • معدل التعلم المحلي:

يجب تحسين هذه الپارامترات اعتماداً على قيود تطبيق التعلم الآلي (على سبيل المثال، قدرة الحوسبة المتاحة، الذاكرة المتاحة، النطاق الترددي). على سبيل المثال، الاختيار العشوائي لكسر محدود من العقد لكل تكرار يقلل من تكلفة الحوسبة وقد يمنع الطفحان، بنفس الطريقة التي يمكن أن يقلل بها الانحدار المتدرج من الطفحان.

متغيرات التعلم المتحد

في هذا القسم، شرح الورقة التي نشرها إتش. بريندن مكمان و آخرون. في عام 2017.[12]

لوصف الاستراتيجيات المتحدة، لنقدم بعض الملاحظات:

  •  : إجمالي عدد التوابع;
  •  : فهرس التوابع;
  • : عدد عينات البيانات المتاحة أثناء التدريب للتابع ;
  • : متجه وزن النموذج على التابع ، في الجولة المتحدة ;
  •  : تابع الضياعات للأوزان وحزمة ;
  •  : عدد الفترات الزمنية المحلية;


. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

الانحدار العشوائي المتدرج المتحد (FedSGD)

يعتمد تدريب التعلم العميق بشكل أساسي على متغيرات الانحدار المتدرج العشوائي، حيث يتم حساب التدرجات على مجموعة فرعية عشوائية من مجموعة البيانات الإجمالية ثم تُستخدم لعمل خطوة واحدة من الانحدار المتدرج.

الانحدار العشوائي المتدرج المتحد[13] هو التحويل المباشر لهذه الخوارزمية إلى الإعداد المتحد، ولكن باستخدام كسر عشوائي من العقد واستخدام جميع البيانات الموجودة على هذه العقدة. يتم حساب متوسط التدرجات من قبل المخدم بالتناسب مع عدد عينات التدريب على كل عقدة، واستخدامها لعمل خطوة انحدار متدرجة.

التوسيط المتحد

التوسيط المتحد (FedAvg) هو تعميم لـ FedSGD، والذي يسمح للعقد المحلية بإجراء أكثر من تحديث دفعة واحدة على البيانات المحلية وتبادل الأوزان المحدثة بدلاً من التدرجات. الأساس المنطقي وراء هذا التعميم هو أنه في FedSGD، إذا بدأت جميع العقد المحلية من نفس التهيئة، فإن متوسط التدرجات يعادل بدقة متوسط الأوزان نفسها. علاوة على ذلك، فإن متوسط الأوزان المضبوطة القادمة من نفس التهيئة لا يضر بالضرورة بأداء النموذج المتوسط الناتج.[12]

القيود التقنية

يتطلب التعلم المتحد الاتصال المتكرر بين العقد أثناء عملية التعلم. وبالتالي، فإنه لا يتطلب فقط ما يكفي من قوة الحوسبة المحلية والذاكرة، ولكن أيضاً اتصالات عالية النطاق الترددي لتكون قادرة على تبادل پارامترات نموذج التعلم الآلي. ومع ذلك، تتجنب التقنية أيضاً اتصال البيانات، الأمر الذي قد يتطلب موارد كبيرة قبل بداية التعلم الآلي المركزي. ومع ذلك، فإن الأجهزة المستخدمة عادةً في التعلم المتحد مقيدة بالاتصال، على سبيل المثال، ترتبط أجهزة إنترنت الأشياء أو الهواتف الذكية بشكل عام بشبكات Wi-fi، وبالتالي، حتى لو كانت النماذج عادةً أقل تكلفة لإرسالها مقارنة بالبيانات الخام، وآليات التعلم الموحدة قد لا تكون مناسبة في شكلها العام.[2]

يثير التعلم الموحد العديد من التحديات الإحصائية:

  • عدم التجانس بين مجموعات البيانات المحلية المختلفة: قد يكون لكل عقدة بعض التحيز فيما يتعلق بالتعداد، وقد يختلف حجم مجموعات البيانات بشكل كبير;
  • عدم التجانس الزمني: قد يختلف توزيع كل مجموعة بيانات محلية بمرور الزمن;
  • التوافقية لمجموعة بيانات كل عقدة شرط أساسي;
  • قد تتطلب مجموعة بيانات كل عقدة تنظيماً متناسقاً;
  • قد يسمح إخفاء بيانات التدريب للمهاجمين بحقن باك دورز في النموذج الكلي;[14]
  • يؤدي عدم الوصول إلى بيانات التدريب الكلية إلى صعوبة تحديد التحيزات غير المرغوب فيها التي تدخل التدريب على سبيل المثال العمر والجنس والتوجه الجنسي;
  • فقدان جزئي أو كلي لتحديثات النموذج بسبب فشل العقدة التي تؤثر على النموذج العام.[2]

خصائص التعلم المتحد

الخصوصية بالتصميم

الميزة الرئيسية لاستخدام الأساليب الموحدة للتعلم الآلي هي ضمان الخصوصية البيانات أو سرية البيانات. في الواقع، لا يتم تحميل أي بيانات محلية خارجياً أو متسلسلة أو متبادلة. نظراً لأن قاعدة البيانات بأكملها مقسمة إلى وحدات بت محلية، فإن هذا يجعل من الصعب اختراقها.

مع التعلم المتحد، يتم تبادل پارامترات التعلم الآلي فقط. بالإضافة إلى ذلك، يمكن أن تكون هذه الپارامترات تشفير قبل المشاركة بين دورات التعلم لتوسيع نطاق الخصوصية ويمكن استخدام مخططات التشفير المتماثل لإجراء عمليات حسابية مباشرة على البيانات المشفرة دون فك تشفيرها مسبقاً. على الرغم من هذه التدابير الوقائية، قد تستمر هذه الپارامترات في تسريب المعلومات حول عينات البيانات الأساسية، على سبيل المثال، من خلال إجراء استعلامات محددة متعددة حول مجموعات بيانات محددة. وبالتالي فإن قدرة العقد على الاستعلام هي نقطة اهتمام رئيسية يمكن معالجتها باستخدام الخصوصية التفاضلية أو التجميع الآمن.[15]

التخصيص

يقدم النموذج الذي تم إنشاؤه أفكاراً تستند إلى الأنماط الكلية للعقد. ومع ذلك، إذا رغبت العقدة المشاركة في التعلم من الأنماط الكلية ولكن أيضاً تكييف النتائج مع حالتها الخاصة، فيمكن تكييف منهجية التعلم المتحد لإنشاء نموذجين في وقت واحد في إطار التعلم متعدد المهام. بالإضافة إلى ذلك، يمكن تطبيق تقنيات التعنقد على العقد التجميعية التي تشترك في بعض أوجه التشابه بعد اكتمال عملية التعلم. هذا يسمح بتعميم النماذج التي تعلمتها العقد وفقاً لبياناتها المحلية أيضًا.[16]

في حالة الشبكات العصبونية العميقة، من الممكن مشاركة بعض الطبقات عبر العقد المختلفة والاحتفاظ ببعض منها في كل عقدة محلية. عادةً، تتم مشاركة الطبقات الأولى التي تؤدي التعرف على الأنماط وتدريبها على جميع مجموعات البيانات. ستبقى الطبقات الأخيرة على كل عقدة محلية وسيتم تدريبها فقط على مجموعة بيانات العقدة المحلية.[17]

الجوانب القانونية للتعلم المتحد

تؤكد الأطر القانونية الغربية أكثر فأكثر على حماية البيانات وتتبع البيانات. فقد أوصى تقرير البيت الأبيض 2012[18] بتطبيق مبدأ تقليل البيانات ، والمذكور في GDPR.[19]في بعض الحالات، من غير القانوني نقل البيانات من بلد إلى آخر (على سبيل المثال، البيانات الجينية)، ولكن الاتحادات الدولية ضرورية في بعض الأحيان لإحداث التقدم العلمي. في مثل هذه الحالات، يجلب التعلم المتحد حلولاً لتدريب نموذج عالمي مع احترام قيود الأمان.

موضوعات البحث الحالية

بدأ التعلم المتحد في الظهور كموضوع بحث مهم في عام 2015[1] و2016،[20]مع المنشورات الأولى عن المتوسطات المتحدة في إعدادات الاتصالات. جانب آخر مهم للبحث النشط هو تقليل عبء الاتصال أثناء عملية التعلم الموحدة. في عامي 2017 و 2018، أكدت المنشورات على تطوير استراتيجيات تخصيص الموارد، وخاصة للحد من التواصل[12] requirements[21] بين العقد مع خوارزميات التداول[22] بالإضافة إلى توصيف المتانة لهجمات الخصوصية التفاضلية.[23]تركز الأنشطة البحثية الأخرى على تقليل عرض النطاق الترددي أثناء التدريب من خلال طرق التوزيع والتكميم،[21] حيث يتم توزيع نماذج التعلم الآلي و / أو ضغطها قبل مشاركتها مع العقد الأخرى. فقد بدأت التطورات البحثية الحديثة في التفكير في نشر قنوات الكلمات الحقيقية[24]كما هو الحال في عمليات التنفيذ السابقة، تم الافتراض أن القنوات مثالية.

حالات الاستخدام

يُطبق التعلم الموحد عادةً عندما تحتاج الجهات الفاعلة الفردية إلى تدريب نماذج على مجموعات بيانات أكبر من تلك الخاصة بهم، ولكن لا يمكنهم تحمل مشاركة البيانات في حد ذاتها مع الآخرين (على سبيل المثال، لأسباب قانونية أو استراتيجية أو اقتصادية). تتطلب التكنولوجيا حتى الآن اتصالات جيدة بين المخدمات المحلية والحد الأدنى من القدرة الحوسبية لكل عقدة.[2]

النقل: سيارات ذاتية القيادة

تضم السيارة ذاتية القيادة العديد من تقنيات التعلم الآلي لتعمل: رؤية الحاسوبية لتحليل العقبات، التعلم الآلي لتكييف سيرها مع البيئة (على سبيل المثال، وعورة الطريق). ونظراً للعدد الكبير المحتمل من السيارات ذاتية القيادة والحاجة إليها للاستجابة بسرعة لمواقف العالم الحقيقي، قد يؤدي نهج السحابة التقليدية إلى حدوث مخاطر تتعلق بالسلامة. يمكن أن يمثل التعلم المتحد حلاً للحد من حجم نقل البيانات وتسريع عمليات التعلم.[25][26]

الصناعة 4.0: التصنيع الذكي

في الصناعة 4.0 ، هناك اعتماد واسع النطاق لتقنيات التعلم الآلي[27]لتحسين كفاءة وفعالية العملية الصناعية مع ضمان مستوى عالٍ من السلامة. ومع ذلك، فإن خصوصية البيانات المعقولة للصناعات والشركات الصناعية لها أهمية قصوى. يمكن تطبيق خوارزميات التعلم المتحد على هذه المسائل لأنها لا تكشف عن أي بيانات حساسة.[20]


. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

الطب: الصحة الرقمية

يسعى التعلم المتحد إلى معالجة مشكلة حوكمة البيانات والخصوصية من خلال تدريب الخوارزميات بشكل تعاوني دون تبادل البيانات نفسها. يأتي النهج القياسي المتبع اليوم في مركزية البيانات من مراكز متعددة على حساب المخاوف الحرجة المتعلقة بخصوصية المريض وحماية البيانات. لحل هذه المشكلة، تعد القدرة على تدريب نماذج التعلم الآلي على نطاق واسع عبر مؤسسات طبية متعددة دون نقل البيانات تقنية مهمة. فقد نشرت ناتشر للطب الرقمي في سبتمبر 2020 ورقة بعنوان مستقبل الصحة الرقمية مع التعلم المتحد[28] حيث يستكشف المؤلفون كيف يمكن أن يوفر التعلم المتحد حلاً لمستقبل الصحة الرقمية ويسلط الضوء على التحديات والاعتبارات التي يجب معالجتها.

المراجع

  1. ^ أ ب Konečný, Jakub; McMahan, Brendan; Ramage, Daniel (2015). "Federated Optimization: Distributed Optimization Beyond the Datacenter". arXiv:1511.03575 [cs.LG].
  2. ^ أ ب ت ث ج ح خ د ذ ر ز س ش ص ض ط Kairouz, Peter; Brendan McMahan, H.; Avent, Brendan; Bellet, Aurélien; Bennis, Mehdi; Arjun Nitin Bhagoji; Bonawitz, Keith; Charles, Zachary; Cormode, Graham; Cummings, Rachel; D'Oliveira, Rafael G. L.; Salim El Rouayheb; Evans, David; Gardner, Josh; Garrett, Zachary; Gascón, Adrià; Ghazi, Badih; Gibbons, Phillip B.; Gruteser, Marco; Harchaoui, Zaid; He, Chaoyang; He, Lie; Huo, Zhouyuan; Hutchinson, Ben; Hsu, Justin; Jaggi, Martin; Javidi, Tara; Joshi, Gauri; Khodak, Mikhail; et al. (10 December 2019). "Advances and Open Problems in Federated Learning". arXiv:1912.04977 [cs.LG].
  3. ^ Pokhrel, Shiva Raj; Choi, Jinho (2020). "Federated Learning with Blockchain for Autonomous Vehicles: Analysis and Design Challenges". IEEE Transactions on Communications. 68 (8): 4734–4746. doi:10.1109/TCOMM.2020.2990686. S2CID 219006840.
  4. ^ Decentralized Collaborative Learning of Personalized Models over Networks Paul Vanhaesebrouck, Aurélien Bellet, Marc Tommasi, 2017
  5. ^ Savazzi, Stefano; Nicoli, Monica; Rampa, Vittorio (May 2020). "Federated Learning With Cooperating Devices: A Consensus Approach for Massive IoT Networks". IEEE Internet of Things Journal. 7 (5): 4641–4654. arXiv:1912.13163. doi:10.1109/JIOT.2020.2964162. S2CID 209515403.
  6. ^ Towards federated learning at scale: system design, Keith Bonawitz Hubert Eichner and al., 2019
  7. ^ Gupta, Otkrist; Raskar, Ramesh (14 October 2018). "Distributed learning of deep neural network over multiple agents". arXiv:1810.06060 [cs.LG].
  8. ^ Vepakomma, Praneeth; Gupta, Otkrist; Swedish, Tristan; Raskar, Ramesh (3 December 2018). "Split learning for health: Distributed deep learning without sharing raw patient data". arXiv:1812.00564 [cs.LG].
  9. ^ Eichner, Hubert; Koren, Tomer; McMahan, H. Brendan; Srebro, Nathan; Talwar, Kunal (22 April 2019). "Semi-Cyclic Stochastic Gradient Descent". arXiv:1904.10120 [cs.LG].
  10. ^ Collaborative Deep Learning in Fixed Topology Networks, Zhanhong Jiang, Aditya Balu, Chinmay Hegde, Soumik Sarkar, 2017
  11. ^ GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent, Jeff Daily, Abhinav Vishnu, Charles Siegel, Thomas Warfel, Vinay Amatya, 2018
  12. ^ أ ب ت Communication-Efficient Learning of Deep Networks from Decentralized Data, H. Brendan McMahan and al. 2017
  13. ^ Privacy Preserving Deep Learning, R. Shokri and V. Shmatikov, 2015
  14. ^ How To Backdoor Federated Learning, Eugene Bagdasaryan, 2018
  15. ^ Practical Secure Aggregation for Privacy Preserving Machine Learning, Keith Bonawitz, 2018
  16. ^ Sattler, Felix; Müller, Klaus-Robert; Samek, Wojciech (4 October 2019). "Clustered Federated Learning: Model-Agnostic Distributed Multi-Task Optimization under Privacy Constraints". arXiv:1910.01991 [cs.LG].
  17. ^ Arivazhagan, Manoj Ghuhan; Aggarwal, Vinay; Singh, Aaditya Kumar; Choudhary, Sunav (2 December 2019). "Federated Learning with Personalization Layers". arXiv:1912.00818 [cs.LG].
  18. ^ Anonymous (1 March 2013). "Consumer Data Privacy in a Networked World: A Framework for Protecting Privacy and Promoting Innovation in the Global Digital Economy". Journal of Privacy and Confidentiality. doi:10.29012/jpc.v4i2.623.
  19. ^ Recital 39 of the Regulation (EU) 2016/679 (General Data Protection Regulation)
  20. ^ أ ب Federated Optimization: Distributed Machine Learning for On-Device Intelligence, Jakub Konečný, H. Brendan McMahan, Daniel Ramage and Peter Richtárik, 2016
  21. ^ أ ب Konečný, Jakub; McMahan, H. Brendan; Yu, Felix X.; Richtárik, Peter; Suresh, Ananda Theertha; Bacon, Dave (30 October 2017). "Federated Learning: Strategies for Improving Communication Efficiency". arXiv:1610.05492 [cs.LG].
  22. ^ Gossip training for deep learning, Michael Blot and al., 2017
  23. ^ Differentially Private Federated Learning: A Client Level Perspective Robin C. Geyer and al., 2018
  24. ^ Amiri, Mohammad Mohammadi; Gunduz, Deniz (10 February 2020). "Federated Learning over Wireless Fading Channels". arXiv:1907.09769 [cs.IT].
  25. ^ Pokhrel, Shiva Raj (2020). "Federated learning meets blockchain at 6G edge: a drone-assisted networking for disaster response": 49-54. doi:10.1145/3414045.3415949. {{cite journal}}: Cite journal requires |journal= (help)
  26. ^ Elbir, Ahmet M.; Coleri, S. (2 June 2020). "Federated Learning for Vehicular Networks". arXiv:2006.01412 [eess.SP].
  27. ^ Cioffi, Raffaele; Travaglioni, Marta; Piscitelli, Giuseppina; Petrillo, Antonella; De Felice, Fabio (2019). "Artificial Intelligence and Machine Learning Applications in Smart Production: Progress, Trends, and Directions". Sustainability (in الإنجليزية). 12 (2): 492. doi:10.3390/su12020492.
  28. ^ Rieke, Nicola; Hancox, Jonny; Li, Wenqi; Milletarì, Fausto; Roth, Holger R.; Albarqouni, Shadi; Bakas, Spyridon; Galtier, Mathieu N.; Landman, Bennett A.; Maier-Hein, Klaus; Ourselin, Sébastien; Sheller, Micah; Summers, Ronald M.; Trask, Andrew; Xu, Daguang; Baust, Maximilian; Cardoso, M. Jorge (14 September 2020). "The future of digital health with federated learning". NPJ Digital Medicine. 3 (1): 119. arXiv:2003.08119. doi:10.1038/s41746-020-00323-1. PMC 7490367. PMID 33015372. S2CID 212747909.

وصلات خارجية

الكلمات الدالة:
تمّ الاسترجاع من "https://www.marefa.org/w/index.php?title=تعلم_متحد&oldid=2244577"