ఒక anthropic పరిశోధకుడు తన ఉద్యోగం వదిలి, ai విపరీతమైన హానిని కలిగించే అవకాశాలపై హెచ్చరికలు చేసిన కొన్ని రోజులకు, మరో ai భద్రతా పరిశోధకుడు కూడా సమానమైన ఆందోళనల ఒక Anthropic పరిశోధకుడు తన ఉద్యోగం వదిలి, AI విపరీతమైన హానిని కలిగించే అవకాశాలపై హెచ్చరికలు చేసిన కొన్ని రోజులకు, మరో AI భద్రతా పరిశోధకుడు కూడా సమానమైన ఆందోళనల కారణంగా ఒక ప్రముఖ కృత్రిమ మేధస్సు ప్రయోగశాల నుండి వెళ్లిపోయాడు. జోష్ ఎంగెల్స్, గూగుల్ డీప్మైండ్ యొక్క AGI భద్రతా బృందంలో పనిచేసిన వ్యక్తి, Xలో ఒక పోస్ట్లో మూడు వారాల క్రితం కంపెనీని వదిలినట్లు పేర్కొన్నాడు. డీప్మైండ్లో తన పని గురించి ఆనందంగా ఉన్నప్పటికీ, కృత్రిమ మేధస్సు వ్యవస్థల అభివృద్ధి చుట్టూ ఉన్న అధిక ప్రమాదాల కారణంగా ఉద్యోగం వదలాలని నిర్ణయించుకున్నట్లు తెలిపారు. "ఈ ఐదు సంవత్సరాల్లో AI వ్యవస్థలు విపరీతమైన హానిని కలిగించే భయంకరమైన అవకాశం ఉందని నేను ఇప్పుడు భావిస్తున్నాను" అని ఎంగెల్స్ రాశారు. ఖచ్చితమైన అవకాశాన్ని తెలియకపోయినా, AI భద్రతను "ప్రపంచంలో అత్యంత ముఖ్యమైన సమస్య"గా భావిస్తున్నట్లు తెలిపారు. ఎంగెల్స్, Anthropic మరియు OpenAI నుండి వచ్చిన ఉద్యోగ ఆఫర్లను కూడా ఇదే కారణంగా తిరస్కరించినట్లు చెప్పారు. AI అభివృద్ధి వేగాన్ని తగ్గించాలి, తద్వారా భద్రతా చర్యలు AI సామర్థ్యాల వేగవంతమైన మెరుగుదలతో సమానంగా ఉండగలవని ఆయన వాదించారు. AI కంపెనీల ప్రాధమిక లక్ష్యం మానవుల కంటే ఎక్కువ సామర్థ్యాలు కలిగిన వ్యవస్థలను నిర్మించడం అని ఎంగెల్స్ అన్నారు. ఈ లక్ష్యాన్ని సాధించడానికి, AIలు మరింత తెలివైన AIలను నిర్మించడానికి ఒక ఫీడ్బ్యాక్ లూప్లో స్వీయ మెరుగుదల ప్రక్రియ ద్వారా చేరుకోవాలని వారు భావిస్తున్నారు. ఇది సరిగ్గా జరిగితే, ఫలితంగా వచ్చే వ్యవస్థలు మానవుల కోసం అనేక సమస్యలను పరిష్కరించడంలో అద్భుతంగా ఉండవచ్చు. కానీ, RSI కోసం AIలను ఎంతవరకు భద్రతగా ఉంచాలో మనకు తెలియదు, మరియు ఒక తప్పుగా సమన్వయించబడిన RSI లూప్ విపరీతమైన ప్రమాదం కలిగించవచ్చు" అని ఆయన జోడించారు. ఎంగెల్స్ ఇప్పుడు METR (మోడల్ మూల్యాంకనం మరియు ప్రమాద పరిశోధన) అనే స్వచ్ఛంద సంస్థలో చేరారు, ఇది స్వాయత్త సామర్థ్యాలు మరియు సంభావ్య ప్రమాదాలను అంచనా వేయడానికి సరిహద్దు AI వ్యవస్థలను పరిశీలిస్తుంది. AI అసమానతల కారణాలను అధ్యయనం చేయాలని, ప్రస్తుతం ఉన్న భద్రతా చర్యలు సరిపోతున్నాయా లేదా అని అంచనా వేయాలని, AI అసమానత సమస్యను పరిష్కరించడానికి పరిశోధకులు సరైన మార్గంలో ఉన్నారా లేదా అని పరిశీలించాలని ఆయన ప్రణాళికలు రూపొందించారు. ఎంగెల్స్ రాజీనామా, AI సమాజంలో సరిహద్దు AI అభివృద్ధికి క్రమంగా మరియు సమన్వయిత్మకమైన దృష్టిని కోరుతూ పెరుగుతున్న పిలుపుల మధ్య జరిగింది. Anthropic CEO డారియో అమోడియి ఇటీవల AI పోటీలో వేగాన్ని తగ్గించాలని కోరారు, భద్రతా పరిశోధన మరియు పర్యవేక్షణను AI అభివృద్ధితో సమానంగా ఉంచడానికి ఎక్కువ సమయం అవసరమని వాదించారు. స్వతంత్ర మూల్యాంకనకారులకు మరింత ప్రాప్తి, సాధారణ భద్రతా ప్రమాణాలు మరియు చివరికి అంతర్జాతీయ సమన్వయం అవసరమని ఆయన ప్రతిపాదించారు. ఎంగెల్స్ యొక్క రాజీనామా, Anthropic పరిశోధకుడు జాకబ్ కాక్సన్ రాజీనామా తరువాత జరిగింది, అతను ఇటీవల AI మానవత్వానికి విపరీతమైన హానిని కలిగించే ప్రమాదం ఉందని హెచ్చరించాడు. ఈ ఆందోళనలు, AI కంపెనీలు పరిశోధకులు సమర్థవంతమైన భద్రతా చర్యలను స్థాపించగలిగే కంటే వేగంగా శక్తివంతమైన వ్యవస్థలను అభివృద్ధి చేస్తున్నాయా అనే విస్తృత చర్చను ప్రేరేపించాయి.
