إذا كنت ترغب في تحقيق أقصى استفادة من العالم المليء بأدوات الذكاء الاصطناعى ، فهذه عادة في التطور: ابدأ في إطلاق النار على شاشة. الكثير من صور الشاشة لكل شيء ، لأنه بالنسبة للحديث عن وضع الصوت ، فإن الكاميرا موجودة في كل مكان ، في كل مكان ومجموعة متنوعة من مستقبل كل شيء قد لا يكون له سلوك رقمي أكثر قيمة من الضغط على الزر وتسجيل ما تشاهده.
صورة الشاشة هي الطريقة الأكثر شمولية لجمع البيانات الرقمية. يمكنك التقاط أي شيء – كل شيء تقريبًا. شكرا جزيلا لك netflix– – من خلال النقر فقط عدة مرات والتسجيل والمشاركة في جميع أنواع التطبيقات أو الأشخاص تقريبًا. “هذا هو نموذج البيانات المحمول” ، جوني بري ، مؤسس تطبيق التخزين الرقمي. قطعة قماش– “لا يوجد شيء آخر محمول تمامًا يمكنك الانتقال بين أي برنامج.”
تحتوي الشاشة على الكثير من المعلومات ، مثل المصادر والمحتوى وحتى وقت الشاشة. أهم شيء هو إشارة مهمة ومعقدة. يقول أنا مهتم بهذا لدينا عدد لا يحصى من أدوات الذكاء الاصطناعى الجديدة التي تهدف إلى رؤية عالمنا وكل شيء ومحاولة فهمنا جميعًا. معظم هذه الأدوات هراء لأسباب عديدة. لكن معظمهم لأن الذكاء الاصطناعى جيد جدًا لمعرفة الأشياء ، لكن القمامة يعرفون ما إذا كانت مهمة أم لا. تم تكوين صورة الشاشة وإخبار النظام الذي يجب أن يكون مهتمًا.
كما جعلتك صفحة Joy تتحكم في المستخدم بطريقة مهمة. “إذا سمحت لك بالوصول إلى جميع بريدي الإلكتروني ، فإن WhatsApps ، كل الأشياء الخاصة بي عالية جدًا” ، لم يقل Mattias Deserti ، رئيس الهاتف الذكي ، شيئًا. لا يوجد سبب لحفظ جميع رسائل البريد الإلكتروني التي تلقيتها أو كل صفحة تزورها – وهذا ناهيك عن الخصوصية. “وإذا كنت تستطيع البدء في تدريب النظام بنفسك بدلاً من توفير المعلومات لنظامك. يحتاج النظام لمعرفة عنك؟ “بدلاً من أداة ، مثل Microsoft Recall ، التي طلبت الوصول إلى كل شيء ، غير محدود ، مع بدء شاشة مساعدتك في اختيار ما يمكنك مشاركته.
حتى الآن ، صورة الشاشة هي أداة حادة. Khun Snap في واحد وسيتم تسجيله في لفة الكاميرا الخاصة بك ، والتي قد يتم استنفادها حتى النهاية. (ولا تدعني أبدأ جميع الشاشات التي صنعتها من قِبل الصدفة. معظم أقفال الشاشة). أفضل ما يمكنك البحث فيه عن النص داخل الصورة. ولكن هناك فرصة أكبر لكي تضطر إلى الانزلاق حتى تجدها مرة أخرى.
الخطوة الأولى في جعل صورة الشاشة أكثر فائدة هي الاعتقاد بأن هناك شيئًا ما فيه.
الخطوة الأولى في جعل صورة الشاشة أكثر فائدة هي معرفة ما حدث. هذا في البداية ، الوجه الأحمر ليس معقدًا للغاية: تعمل تقنية التعرف على الأحرف البصرية بشكل جيد على صفحة الويب لفترة طويلة ونموذج الذكاء الاصطناعى هو خطوة أخرى ، لذلك يمكنك البحث عن الاسم أو فقط “الأفلام للبحث عن جميع الملصقات الرقمية. ثم نستخدم النصيحة ، ثم نصيحة الفهم ، بعد ذلك.
انظر إلى رؤى الشاشة أكثر من مجرد النص في نموذج الذكاء الاصطناعى المناسبة لتكون قادرًا على معرفة أنها تأتي من WhatsApp ، فقط الأخضر المحدد. يجب أن يكون قادرًا على تحديد موقع الويب الخاص بشعار الرأس أو فهم عندما تقوم بتسجيل أغنية Spotify أو مراجعة Handyman Yelp أو Amazon. باستخدام هذه المعلومات ، قد تبدأ تطبيقات صورة الشاشة في تنظيم كل هذه الصور تلقائيًا. وهذه مجرد بداية
مع كل ما شرحته حتى الآن ، فإن ما أنشأناه حقًا هو تطبيق جيد جدًا لعرض صورة الشاشة الخاصة بك ، وهو ما لا يعتقد أحد أنها فكرة جيدة لأنها ستكون شيئًا آخر للتحقق – أو نسيت التحقق. المكان الأكثر إثارة للاهتمام هو عندما يتمكن جهازك أو تطبيقك من البدء في استخدام صورة الشاشة على اسمك لمساعدتك في تذكر ما أخذته أو استخدام هذه المعلومات لإنهاء الأمور.
على سبيل المثال ، تطبيق الفضاء الأساسي الجديد. يمكن للتطبيقات إنشاء إشعارات وفقًا لما سجلته. إذا كنت تستخدم شاشة الشاشة للحفل الموسيقي الذي تريد الذهاب إليه ، فيمكنك تحذيرك من أنها ستأتي تلقائيًا. تدفع صورة شاشة Pixel عقلك بشكل أفضل: إذا قمت بتسجيل حفل Pixel الخاص بك ، فيمكنك إخطار الفرقة في المرة القادمة التي تفتح فيها Spotify. وهذا يعني ، التفكير في أن صورة الشاشة هي نظام إدخال لكل شيء.
قام مايك تشوي ، مطور مستقل ، بإنشاء تطبيق يسمى مخيم جزئيا لمساعدته على الاستفادة من شاشته الخاصة. بدأ العمل على تغيير كل صورة شاشة إلى “بطاقة” مع المعلومات المتميزة المخزنة بجانب الصورة. وقال “لديك لقطة شاشة وفي الأسفل لديك زر ويحول البطاقة”. “إنه يوضح لك إذا كان هذا هو الموقع ؛ مثال على الأغنية. إذا كانت أغنية ، فإن الفكرة هي حمام السباحة الذي لا نهاية له لأنواع مختلفة من الشاشات. يمكن لـ AI إنشاء واجهة مستخدم مثالية لتلك الفئة.”
إذا كان هذا يبدو مألوفًا ، فذلك لأن هناك كلمة أخرى لما يحدث هنا: يطلق عليه Agentic AI. يبدو أن جميع الشركات في التكنولوجيا تستخدم أساليب الذكاء الاصطناعي للقيام بالأشياء باسمك. في هذه الحالة ، ليس عليك كتابة حفلة موسيقية طويلة أو الدردشة مع المساعد. أنت فقط تأخذ لقطة شاشة وتدع النظام يذهب إلى العمل. “أنت تقوم بإنشاء قاعدة معرفة اليوم. تقتصر قاعدة المعرفة على معرضك ولا يحدث شيء له.” قال الصحراء. إنه متحمس للوصول إلى النقطة التي تأخذ فيها الشاشة في يوم الحفل وسيعلمك المساحة المهمة بشراء التذكرة تلقائيًا عند البيع.
فهم صورة الشاشة ليس دائمًا مستقيمًا.
على الرغم من أن فهم صورة الشاشة ليس دائمًا بعض الأشخاص الذين تريد الاحتفاظ به إلى الأبد ، مثل بطاقة الهوية التي قد تحتاجها غالبًا ، وأشياء أخرى مثل ملصقات الحفلات الموسيقية أو تذاكر وقوف السيارات محدودة للغاية. لذلك ، يجب أن يميز التطبيق بطاقات وقوف السيارات التي تستخدمها كل يوم في العمل والتطبيق الذي تستخدمه فقط في المطار ولا تريدها مرة أخرى. تم إرسال بعض صور الشاشة في هاتفي في WhatsApp ؛ الآخرون الذين أمسكوا به من ميمات Instagram لإرسالها إلى الأصدقاء. لا ينبغي لدحمة الكاميرا معهم تمامًا ، حيث تبحث العديد من تطبيقات شاشة لقطات الشاشة عن طريقة لتشجيعك على إضافة ملاحظات أو تنظيم الأشياء بنفسك من أجل توفير معلومات مفيدة إضافية للنظام. ولكن من الصعب القيام بذلك دون تدمير ما يجعل الشاشة سلسة وسهلة في البداية.
طريقة واحدة لبدء حل هذه المشكلة بحيث تكون صورة الشاشة أكثر فائدة هي جمع سياق إضافي من جهازك. هذا هو المكان الذي تتمتع فيه الشركة مثل Google ولا يوجد ميزة: لأنها تنشئ معدات. يمكنهم رؤية كل ما يحدث عند التقاط الشاشة. إذا أمسكت الشاشة من متصفح الويب الخاص بك ، فيمكنهم أيضًا الاحتفاظ بالرابط الذي تشاهده. يمكنهم أيضًا رؤية وضعك البدني أو مراقبة الوقت والطقس. في بعض الأحيان كل هذا مفيد. ولكن في بعض الأحيان يكون سخيفًا كلما زادت المعلومات التي يجمعونها ، كلما كان التطبيق أكثر خطورة في التسبب في نفس مشكلة الضوضاء التي تساعد صورة الشاشة في حل المشكلة من البداية.
لكن نظام الإدخال يعمل جميعًا نلتقط الشاشة طوال الوقت ونحن على دراية باستخدام طريقة ارتداء العديد من علامات البيانات المفيدة. يعد الوصول إلى المعلومات ذات الصلة والخاصة أصعب شيء لإنشاء مساعد AI رائع. يحتوي مستقبل الحساب على أشكال عديدة ، بما في ذلك جميع أنواع الميكروفونات والمستشعرات. لكن الطريقة الأولى هي الأفضل لاستخدام الذكاء الاصطناعي. قد تكون صورة شاشة واحدة تلو الأخرى.
