هوش مصنوعی مولد دارای انبوهی از سوء استفاده های مستند است، از ساختن مقالات دانشگاهی گرفته تا کپی کردن هنرمندان. و اکنون، به نظر می رسد که در عملیات نفوذ دولت ظاهر می شود.
طبق گزارش اخیر شرکت اطلاعات تهدید Recorded Future مستقر در ماساچوست، یکی از کمپینهای اخیر «بسیار محتمل» با کمک محصولات تجاری تولید صدای هوش مصنوعی، از جمله فناوریهایی که توسط استارتآپ داغ ElevenLabs منتشر شده است، بوده است.
این گزارش یک کمپین مرتبط با روسیه را تشریح میکند که برای تضعیف حمایت اروپا از اوکراین طراحی شده است، که «عملیات Undercut» نامیده میشود، که به طور برجسته از صداهای تولید شده توسط هوش مصنوعی در ویدیوهای «اخبار» جعلی یا گمراهکننده استفاده میکرد.
این ویدئوها که مخاطبان اروپایی را هدف قرار میدادند، سیاستمداران اوکراینی را فاسد میدانستند یا مفید بودن کمکهای نظامی به اوکراین را زیر سوال میبردند. به عنوان مثال، یک ویدیو تبلیغ میکند که «حتی مختلکنندهها نمیتوانند تانکهای آبرامز آمریکایی را نجات دهند»، با اشاره به دستگاههایی که توسط تانکهای آمریکایی برای منحرف کردن موشکهای وارده استفاده میشود – این نکته را تقویت میکند که ارسال زرههای پیشرفته به اوکراین بیمعنی است.
این گزارش بیان میکند که سازندگان ویدیو «به احتمال زیاد» از هوش مصنوعی تولید شده از صدا، از جمله فناوری ElevenLabs استفاده کردهاند تا محتوای خود را قانونیتر نشان دهند. برای تأیید این موضوع، محققان Recorded Future کلیپها را به طبقهبندیکننده گفتار هوش مصنوعی ElevenLabs ارسال کردند، که این امکان را برای هر کسی فراهم میکند تا «تشخیص دهد که آیا یک کلیپ صوتی با استفاده از ElevenLabs ایجاد شده است یا خیر» و مطابقت دارد.
ElevenLabs به درخواست ها برای اظهار نظر پاسخ نداد. اگرچه Recorded Future به احتمال زیاد استفاده از چندین ابزار تجاری تولید صدای هوش مصنوعی اشاره کرد، اما به غیر از ElevenLabs نام دیگری را ذکر نکرد.
سودمندی تولید صدای هوش مصنوعی به طور ناخواسته توسط ارکستراتورهای خود کمپین تأثیرگذاری نشان داده شد، که – نسبتاً شلخته – برخی ویدیوها را با صداهای واقعی انسانی منتشر کردند که «لهجه قابل تشخیص روسی» داشتند. در مقابل، صداپیشگان تولید شده توسط هوش مصنوعی به چندین زبان اروپایی مانند انگلیسی، فرانسوی، آلمانی و لهستانی بدون لهجه های خارجی صحبت می کردند.
طبق گزارش Recorded Future، هوش مصنوعی همچنین اجازه میدهد تا کلیپهای گمراهکننده به سرعت به چندین زبان رایج در اروپا مانند انگلیسی، آلمانی، فرانسوی، لهستانی و ترکی منتشر شوند (اتفاقاً همه زبانهایی که توسط ElevenLabs پشتیبانی میشوند).
Recorded Future این فعالیت را به آژانس طراحی اجتماعی، سازمانی مستقر در روسیه نسبت داد، سازمانی مستقر در روسیه که دولت ایالات متحده آن را در ماه مارس به دلیل راه اندازی «شبکه ای متشکل از 60 وب سایت که جعل هویت سازمان های خبری واقعی در اروپا بودند، تحریم کرد، سپس از حساب های رسانه های اجتماعی جعلی برای تقویت این گمراه کننده استفاده کرد. محتوای وبسایتهای جعلی.» وزارت امور خارجه ایالات متحده در آن زمان گفت که همه اینها «از طرف دولت فدراسیون روسیه» انجام شده است.
Recorded Future نتیجه گرفت که تأثیر کلی این کمپین بر افکار عمومی در اروپا بسیار کم بود.
این اولین باری نیست که محصولات ElevenLabs به دلیل سوء استفاده ادعایی مورد توجه قرار می گیرند. به گزارش بلومبرگ، یک شرکت تشخیص تقلب صوتی به این نتیجه رسید که فناوری این شرکت در پشت یک فراخوانی رباتیک به نام جو بایدن، رئیسجمهور بود که از رایدهندگان میخواست در جریان انتخابات مقدماتی ژانویه 2024 بیرون نروند و رای دهند. در پاسخ، ElevenLabs گفت که ویژگیهای ایمنی جدیدی مانند مسدود کردن خودکار صدای سیاستمداران را منتشر کرده است.
ElevenLabs “جعل هویت غیرمجاز، مضر یا فریبنده” را ممنوع می کند و می گوید از ابزارهای مختلفی برای اجرای این امر استفاده می کند، مانند اعتدال خودکار و انسانی.
ElevenLabs از زمان تأسیس خود در سال 2022 رشد انفجاری را تجربه کرده است. TechCrunch قبلاً گزارش داده است که اخیراً ARR را از 25 میلیون دلار کمتر از یک سال قبل به 80 میلیون دلار افزایش داده است و ممکن است به زودی به 3 میلیارد دلار برسد. سرمایه گذاران آن عبارتند از Andreessen Horowitz و مدیر عامل سابق Github نات فریدمن.
منبع:techcrunch
