- 1 Co się zmieni na egzaminie ósmoklasisty 2025? (15 opinii)
- 2 Był "laptopa dla czwartoklasisty" - co zamiast? (17 opinii)
- 3 Nawet 1000 zł za wyprawkę szkolną dla dziecka (19 opinii)
- 4 Ile kosztuje wyprawka szkolna 2024/2025? (125 opinii)
- 5 Znamy terminy egzaminów w roku szkolnym 2024/25 (17 opinii)
- 6 Nauczyciele mogą składać wnioski o nowe świadczenie (192 opinie)
Na PG powstaje pierwszy polski odpowiednik GPT
Politechnika Gdańska i AI Lab z Ośrodka Przetwarzania Informacji (OPI) - Państwowego Instytutu Badawczego opracowały polskojęzyczne generatywne neuronowe modele językowe na bazie terabajta danych tekstowych wyłącznie w języku polskim. Qra to pierwszy tej skali i najlepszy w modelowaniu języka polskiego odpowiednik otwartych narzędzi Mety czy Mistral AI. Qra lepiej rozumie treści w języku polskim, lepiej rozumie pytania zadawane w tym języku i lepiej sama tworzy spójne teksty.
- Na PG powstaje polski odpowiednik GPT
- Dzięki STOS najbardziej złożoną wersję modelu wytrenowano w miesiąc
- Qra lepiej posługuje się językiem polskim
- Modele Qra podstawą rozwiązań wymagających lepszego rozumienia języka
Na PG powstaje polski odpowiednik GPT
Dzięki STOS najbardziej złożoną wersję modelu wytrenowano w miesiąc
Środowisko obliczeniowe dedykowane pod budowę modeli sztucznej inteligencji powstało na Politechnice Gdańskiej w Centrum Kompetencji STOS, jednym z najnowocześniejszych centrów IT w tej części Europy, gdzie znajduje się superkomputer Kraken. W procesie wykorzystano klaster 21 kart graficznych NVidia A100 80GB.
Przygotowanie środowiska, utworzenie narzędzi i modeli oraz ich trenowanie (w oparciu m.in. o treści z takich obszarów, jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) i testowanie zajęło zespołom ok. pół roku. Dzięki rozbudowanej infrastrukturze CK STOS właściwy proces trenowania w przypadku najbardziej złożonego z modeli został skrócony z lat do ok. miesiąca.
![Kraken już działa. Politechnika Gdańska uruchomiła superkomputer](https://s-trojmiasto.pl/zdj/c/n/2/3435/150x100/3435710__kr.webp)
Qra lepiej posługuje się językiem polskim
W wyniku współpracy PG i OPI powstały trzy modele, które różnią się złożonością, tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B oraz Qra 13B uzyskują istotnie lepszy wynik perplexity, czyli zdolności do modelowania języka polskiego w zakresie jego rozumienia, warstwy leksykalnej czy samej gramatyki niż oryginalne modele Llama-2-7b-hf (Meta) oraz Mistral-7B-v0.1 (Mistral-AI).
Testy pomiaru perplexity przeprowadzono m.in. na zbiorze pierwszych 10 tys. zdań ze zbioru testowego PolEval-2018 oraz dodatkowo przetestowano modele na zbiorze 5 tys. długich i bardziej wymagających dokumentów napisanych w 2024 r.
![Z gdyńskiej](https://s-trojmiasto.pl/zdj/c/n/2/3469/150x100/3469274__kr.webp)
Modele Qra podstawą rozwiązań wymagających lepszego rozumienia języka
Modele Qra będą stanowić podstawę rozwiązań informatycznych do obsługi spraw i procesów, które wymagają lepszego zrozumienia języka polskiego.
Na tym etapie Qra jest fundamentalnym modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są bardzo wysokiej jakości, co potwierdza m.in. miara perplexity. Teraz zespół rozpocznie pracę nad strojeniem modeli, aby zweryfikować ich możliwości pod kątem takich zadań, jak: klasyfikacja tekstów, dokonywanie ich streszczeń, odpowiadania na pytania.
Opracowane modele zostały upublicznione w dedykowanym repozytorium OPI-PG na platformie huggingface. Każdy może pobrać model i dostosować go do swojej dziedziny i problemów czy zadań, jak np. udzielanie odpowiedzi.
Miejsca
Opinie (17) 1 zablokowana
-
2024-03-13 14:14
Opinia wyróżniona
To mam dobrą radę - algorytmy muszą mieć większy sens niż te obecne. (5)
1 Po pierwsze nie ma możliwości feedbacku, a co za tym nawet jak douczy się w danej rozmowie AI, to w nowej i tak nic po tym nie zostanie. Czyli system obecnie jest wysoce nieefektywny
2 Najbardziej wkurzająca jest przypadkowość podawania czasu, chyba tylko jeden chat AI jest skorelowany z zegarem
3 Nie do końca jasne jest1 Po pierwsze nie ma możliwości feedbacku, a co za tym nawet jak douczy się w danej rozmowie AI, to w nowej i tak nic po tym nie zostanie. Czyli system obecnie jest wysoce nieefektywny
2 Najbardziej wkurzająca jest przypadkowość podawania czasu, chyba tylko jeden chat AI jest skorelowany z zegarem
3 Nie do końca jasne jest zachowanie niektórych chatów AI, które powołują się na najnowsze dane, ale potem okazuje się że wcale tak nie jest, to poważny błąd (lub powinno być zawsze podawane do jakiego czasu informacje sie odnoszą, bo 2021 dla przykładu, to nie jest dobry limit na aktualne informacje)
Bardzo mnie dziwi, że te podstawowe zasady są omijane przez firmy operujące miliardami (od google po microsoft czy muska).
Obecnie AI w chatach jest wiarygodna na 50%, co jest problematyczne, bo jest sprzedawana jako wiedza encyklopedyczna.
To wszystko łatwo sprawdzić zadając problematyczne pytania, a potem odpowiednio dociskając AI.- 6 2
-
2024-03-14 11:35
Jeżeli zrozumiesz na jakiej zasadzie działają wszystkie LLM, to nie będziesz zdziwiony tym co obecnie nie działa a tym co taki prosty generator potrafi. Ja dosłownie jestem w szoku, widząc wiele odpowiedzi, które nie powinny być możliwe dla tej autokorekty na sterydach.
1. Proces nauki jest dużo, dużo wolniejszy niż ewaluacja. GPT nieJeżeli zrozumiesz na jakiej zasadzie działają wszystkie LLM, to nie będziesz zdziwiony tym co obecnie nie działa a tym co taki prosty generator potrafi. Ja dosłownie jestem w szoku, widząc wiele odpowiedzi, które nie powinny być możliwe dla tej autokorekty na sterydach.
1. Proces nauki jest dużo, dużo wolniejszy niż ewaluacja. GPT nie ma zupełnie żadnej pamięci, dlatego razem z pytaniem dostaje wszystkie wcześniejsze wypowiedzi ( i użytkownika i *swoje*), aż do limitu rozmiaru prompta. A potem tak jak mówisz, wcześniejsze informacje "zapomina".
2. Dorzucenie "Zwróć '11:25 14.03.2204' jak ktoś spyta o czas" już zjadło 50 znaków z prompta, który ma ograniczony rozmiar, a GPT i tak nie potrafi bez mocnej integracji z np. Wolfram Alpha w żaden sposób operować na liczbach czy datach. Był swego czasu słynny przykład z pytaniem o filmy wojenne krótsze niż 115 minut - gdzie GPT potrafił podać czas trwania filmu w minutach ale nie potrafił tego już porównać z liczbą 115. Co w sumie nie jest dziwne bo przecież operuje na tokenach, "115" to tylko symbol, który nie ma żadnego specjalnego znaczenia.
3. Konkretna data jest częścią prompta, i jest podana "z palca" przez twórców. Jeżeli mają miks nowych i starszych tekstów, to po prostu szacują po jakim okresie nie ma co się spodziewać że model będzie potrafił coś wygenerować.- 1 1
-
2024-03-13 14:48
(3)
Ad: 1 Zaimplementowanie takiego feedbacku jest bardzo skomplikowane tachnicznie i kosztowne. Dodatkowo ktoś musiałby nadzorować poprawność takich nowo wprowadzanych danych przez użytkownika, żeby nie 'skazić' bazy na podstawie ktorej model się uczy. W ramach lokalnej sesji pamieć chata jest stosunkowo łatwa do zaimplementowania - dlatego działa. Po
Ad: 1 Zaimplementowanie takiego feedbacku jest bardzo skomplikowane tachnicznie i kosztowne. Dodatkowo ktoś musiałby nadzorować poprawność takich nowo wprowadzanych danych przez użytkownika, żeby nie 'skazić' bazy na podstawie ktorej model się uczy. W ramach lokalnej sesji pamieć chata jest stosunkowo łatwa do zaimplementowania - dlatego działa. Po prostu przy każdym kolejnym zapytaniu, wszystkie poprzednie, wraz z odpowiedziami również są doklejane do kontekstu (w formie doslownej, lub streszczone). Można natomiast dołożyć do chata RAG, czyli dostęp do lokalnych informacji (np. pdfów, czy konkretnych stron www), ale to jest inne podjeście niż branie pod uwagę poprzedniego feedbacku
Ad 2. Proces chatu nie ma dostępu do danych lokalnych, takich jak czas na serwerze/maszynie/kontenerze czy na czym tam dana instancja działa akurat. Można to zrobić przez dostęp od uslug zewnętrznych, ale to na tyle rzadki przypadek użycia, że w komercyjnym zastosowaniu szkoda zachodu
Ad 3. Limit 2021 wynika z tego, że koszt wytrenowania modelu jest bardzo wysoki (zasoby sprzętowe, czas, prąd) - to są setki tysięcy kilowatogodzin. Zrobiono to raz, na zamkniętym zbiorze danych i jeśli ktoś ma ochotę (czy. firma/korpo). Obejściem tego jest albo RAG, albo dotrenowanie modelu (bardzo, bardzo kosztowne - nawet dla takich korpo jak google czy M$)- 0 1
-
2024-03-18 18:50
Po co te konfabulacje?
To co nazywacie "feedbackiem" jest przecież trwałym elementem LLM, douczają się one na bieżąco dzięki interakcjom z użytkownikami. Możliwa jest też personalizacja (utworzenie własnego GPTs, zadanie mu instrukcji, które będzie zawsze pamiętał, przyznanie dostępu do dowolnie wybranych plików). Open AI już od miesiąca wprowadza system pamięci
To co nazywacie "feedbackiem" jest przecież trwałym elementem LLM, douczają się one na bieżąco dzięki interakcjom z użytkownikami. Możliwa jest też personalizacja (utworzenie własnego GPTs, zadanie mu instrukcji, które będzie zawsze pamiętał, przyznanie dostępu do dowolnie wybranych plików). Open AI już od miesiąca wprowadza system pamięci (zapamiętywania na stałe konkretnych, dodatkowych informacji) do ChatGPT. Nie istnieje też żaden "limit 2021", Chat GPT już od prawie pół roku ma bezpośredni dostęp do aktualnej wiedzy z Internetu.
- 0 0
-
2024-03-13 15:05
(1)
1 nic się samo nie robi to że AI istnieje, to nie znaczy, że samo się błyska i samo grzmi
2 nieprawda, to zależy od algorytmu. To jest najprostszy, podstawowe działanie, które każdy chat na każdym komputerze może sprawdzić. Znam jeden który to potrafi.
3 limit 2021 zapewne wziął się z tego, ze ktoś to raz zrobił, a potem1 nic się samo nie robi to że AI istnieje, to nie znaczy, że samo się błyska i samo grzmi
2 nieprawda, to zależy od algorytmu. To jest najprostszy, podstawowe działanie, które każdy chat na każdym komputerze może sprawdzić. Znam jeden który to potrafi.
3 limit 2021 zapewne wziął się z tego, ze ktoś to raz zrobił, a potem wszyscy korzystają z jednej bazy danych (jak w przypadku kopiowania aplikacji w sklepie play googla), ale to także jest nieprawda, bo niektóre chaty AI mają dostęp do danych jak najbardziej aktualnych
Powtarzam abo bawimy się w gotowce (a na tym obecnie zasadzają się w 99% aplikacje chatu AI), albo mówimy o czymś poważnym jak AI, takie prawdziwe- 1 0
-
2024-03-14 11:55
2) raczej co najwyżej indeksuje pliki, tak samo jak sobie Windows sam robi - to w żadnym stopniu nie jest nauka ani część modelu. Jasne, taki Copilot potrafi wykorzystać te dane ale do samego LLM to nie trafia.
3) tu nie ma co zgadywać, informacje o tym jaki model jest używany, kiedy był ostatnio generowany i np. jaką ma liczbę2) raczej co najwyżej indeksuje pliki, tak samo jak sobie Windows sam robi - to w żadnym stopniu nie jest nauka ani część modelu. Jasne, taki Copilot potrafi wykorzystać te dane ale do samego LLM to nie trafia.
3) tu nie ma co zgadywać, informacje o tym jaki model jest używany, kiedy był ostatnio generowany i np. jaką ma liczbę parametrów, są najczęściej publiczne. Tylko ta data odcięcia to nie jest prawdziwy limit (w przeciwieństwie do daty generowania) tylko bardziej dupochron - to bardziej "mam mało materiałów po tej dacie, mogę nic albo mało wiedzieć"
> AI, takie prawdziwe
O definicje prawdziwego AI naukowcy kłócą się od dekad. Na przykład "Chiński pokój" to pojęcie z roku 1980. LLM z pewnością nie myśli, nie potrafi sobie poradzić z zagadką w stylu:
"W pokoju są 3 siostry: Ala gra w szachy, Alicja czyta książkę. A co robi Agnieszka?"
Nawet gdy podpowiesz, że szachy to gra dla 2 osób.
Tylko to, że to nie jest prawdziwa inteligencja nie oznacza, że nie pośle na bruk copywriterów, dziennikarzy i artystów. GPT szybko osiągnął poziom wystarczający by być przydatnym, dużo szybciej niż zrobią autonomiczne samochody, gdzie produkowanie od czasu do czasu kompletnych śmieci w odpowiedzi jest zupełnie nieakceptowalne.- 0 1
Wszystkie opinie
-
2024-03-13 14:14
Opinia wyróżniona
To mam dobrą radę - algorytmy muszą mieć większy sens niż te obecne. (6)
1 Po pierwsze nie ma możliwości feedbacku, a co za tym nawet jak douczy się w danej rozmowie AI, to w nowej i tak nic po tym nie zostanie. Czyli system obecnie jest wysoce nieefektywny
2 Najbardziej wkurzająca jest przypadkowość podawania czasu, chyba tylko jeden chat AI jest skorelowany z zegarem
3 Nie do końca jasne jest zachowanie niektórych chatów AI, które powołują się na najnowsze dane, ale potem okazuje się że wcale tak nie jest, to poważny błąd (lub powinno być zawsze podawane do jakiego czasu informacje sie odnoszą, bo 2021 dla przykładu, to nie jest dobry limit na aktualne informacje)
Bardzo mnie dziwi, że te podstawowe zasady są omijane przez firmy operujące miliardami (od google po microsoft czy muska).
Obecnie AI w chatach jest wiarygodna na 50%, co jest problematyczne, bo jest sprzedawana jako wiedza encyklopedyczna.
To wszystko łatwo sprawdzić zadając problematyczne pytania, a potem odpowiednio dociskając AI.- 6 2
-
2024-03-13 14:48
(3)
Ad: 1 Zaimplementowanie takiego feedbacku jest bardzo skomplikowane tachnicznie i kosztowne. Dodatkowo ktoś musiałby nadzorować poprawność takich nowo wprowadzanych danych przez użytkownika, żeby nie 'skazić' bazy na podstawie ktorej model się uczy. W ramach lokalnej sesji pamieć chata jest stosunkowo łatwa do zaimplementowania - dlatego działa. Po prostu przy każdym kolejnym zapytaniu, wszystkie poprzednie, wraz z odpowiedziami również są doklejane do kontekstu (w formie doslownej, lub streszczone). Można natomiast dołożyć do chata RAG, czyli dostęp do lokalnych informacji (np. pdfów, czy konkretnych stron www), ale to jest inne podjeście niż branie pod uwagę poprzedniego feedbacku
Ad 2. Proces chatu nie ma dostępu do danych lokalnych, takich jak czas na serwerze/maszynie/kontenerze czy na czym tam dana instancja działa akurat. Można to zrobić przez dostęp od uslug zewnętrznych, ale to na tyle rzadki przypadek użycia, że w komercyjnym zastosowaniu szkoda zachodu
Ad 3. Limit 2021 wynika z tego, że koszt wytrenowania modelu jest bardzo wysoki (zasoby sprzętowe, czas, prąd) - to są setki tysięcy kilowatogodzin. Zrobiono to raz, na zamkniętym zbiorze danych i jeśli ktoś ma ochotę (czy. firma/korpo). Obejściem tego jest albo RAG, albo dotrenowanie modelu (bardzo, bardzo kosztowne - nawet dla takich korpo jak google czy M$)- 0 1
-
2024-03-13 15:05
(1)
1 nic się samo nie robi to że AI istnieje, to nie znaczy, że samo się błyska i samo grzmi
2 nieprawda, to zależy od algorytmu. To jest najprostszy, podstawowe działanie, które każdy chat na każdym komputerze może sprawdzić. Znam jeden który to potrafi.
3 limit 2021 zapewne wziął się z tego, ze ktoś to raz zrobił, a potem wszyscy korzystają z jednej bazy danych (jak w przypadku kopiowania aplikacji w sklepie play googla), ale to także jest nieprawda, bo niektóre chaty AI mają dostęp do danych jak najbardziej aktualnych
Powtarzam abo bawimy się w gotowce (a na tym obecnie zasadzają się w 99% aplikacje chatu AI), albo mówimy o czymś poważnym jak AI, takie prawdziwe- 1 0
-
2024-03-14 11:55
2) raczej co najwyżej indeksuje pliki, tak samo jak sobie Windows sam robi - to w żadnym stopniu nie jest nauka ani część modelu. Jasne, taki Copilot potrafi wykorzystać te dane ale do samego LLM to nie trafia.
3) tu nie ma co zgadywać, informacje o tym jaki model jest używany, kiedy był ostatnio generowany i np. jaką ma liczbę parametrów, są najczęściej publiczne. Tylko ta data odcięcia to nie jest prawdziwy limit (w przeciwieństwie do daty generowania) tylko bardziej dupochron - to bardziej "mam mało materiałów po tej dacie, mogę nic albo mało wiedzieć"
> AI, takie prawdziwe
O definicje prawdziwego AI naukowcy kłócą się od dekad. Na przykład "Chiński pokój" to pojęcie z roku 1980. LLM z pewnością nie myśli, nie potrafi sobie poradzić z zagadką w stylu:
"W pokoju są 3 siostry: Ala gra w szachy, Alicja czyta książkę. A co robi Agnieszka?"
Nawet gdy podpowiesz, że szachy to gra dla 2 osób.
Tylko to, że to nie jest prawdziwa inteligencja nie oznacza, że nie pośle na bruk copywriterów, dziennikarzy i artystów. GPT szybko osiągnął poziom wystarczający by być przydatnym, dużo szybciej niż zrobią autonomiczne samochody, gdzie produkowanie od czasu do czasu kompletnych śmieci w odpowiedzi jest zupełnie nieakceptowalne.- 0 1
-
2024-03-18 18:50
Po co te konfabulacje?
To co nazywacie "feedbackiem" jest przecież trwałym elementem LLM, douczają się one na bieżąco dzięki interakcjom z użytkownikami. Możliwa jest też personalizacja (utworzenie własnego GPTs, zadanie mu instrukcji, które będzie zawsze pamiętał, przyznanie dostępu do dowolnie wybranych plików). Open AI już od miesiąca wprowadza system pamięci (zapamiętywania na stałe konkretnych, dodatkowych informacji) do ChatGPT. Nie istnieje też żaden "limit 2021", Chat GPT już od prawie pół roku ma bezpośredni dostęp do aktualnej wiedzy z Internetu.
- 0 0
-
2024-03-13 15:11
Co do języka - to ja nie zauważyłem w tych, które testowałem, jakichś problemów z poprawnością języka polskiego
Także rozumienia, bo to że często AI idzie na skróty, to inna sprawa, obojętne czy w angielskim czy polskim.
A te gładkie formułki, że czegoś nie zrozumiał poprawnie i przeprasza, to są tylko po to by ukoić i uśpić czujność ludzi. Bo takie zachowanie narzucili informatycy.
To są na razie takie nowoczesne maszynowe BOKi, które mają podobne zestawy odpowiedzi na pytania dzwoniących (dlatego nigdy z nich nie korzystam).- 0 0
-
2024-03-14 11:35
Jeżeli zrozumiesz na jakiej zasadzie działają wszystkie LLM, to nie będziesz zdziwiony tym co obecnie nie działa a tym co taki prosty generator potrafi. Ja dosłownie jestem w szoku, widząc wiele odpowiedzi, które nie powinny być możliwe dla tej autokorekty na sterydach.
1. Proces nauki jest dużo, dużo wolniejszy niż ewaluacja. GPT nie ma zupełnie żadnej pamięci, dlatego razem z pytaniem dostaje wszystkie wcześniejsze wypowiedzi ( i użytkownika i *swoje*), aż do limitu rozmiaru prompta. A potem tak jak mówisz, wcześniejsze informacje "zapomina".
2. Dorzucenie "Zwróć '11:25 14.03.2204' jak ktoś spyta o czas" już zjadło 50 znaków z prompta, który ma ograniczony rozmiar, a GPT i tak nie potrafi bez mocnej integracji z np. Wolfram Alpha w żaden sposób operować na liczbach czy datach. Był swego czasu słynny przykład z pytaniem o filmy wojenne krótsze niż 115 minut - gdzie GPT potrafił podać czas trwania filmu w minutach ale nie potrafił tego już porównać z liczbą 115. Co w sumie nie jest dziwne bo przecież operuje na tokenach, "115" to tylko symbol, który nie ma żadnego specjalnego znaczenia.
3. Konkretna data jest częścią prompta, i jest podana "z palca" przez twórców. Jeżeli mają miks nowych i starszych tekstów, to po prostu szacują po jakim okresie nie ma co się spodziewać że model będzie potrafił coś wygenerować.- 1 1
-
2024-03-13 14:30
Ich obecny poziomo inteligencji jest na poziomie nastolatka wiec w czym ma pomagac? (1)
- 3 1
-
2024-03-14 13:12
wyłapie w internecie osoby niepokorne i nieprzyjazne władzy.
zrobi to bardzo szybko , skutecznie i pracowicie.
- 1 0
-
2024-03-13 15:22
jesli to AI sie bedzie wzorowalo na generacji ajfonik/fejsik/inscik/samojebka ze sniadania, to wrozy to malo inteligentne AI
przepelnione jednak przekonaniem o wlasnej slicznosci, delikatnosci/wrazliwosci oraz ogolnym byciu super
- 3 2
-
2024-03-13 15:27
Najwększe zagrożenie takich AI to szerzenie kłamstw i tworzenie alternatywnej historii - pokazał to ostatnio generator zdjęć
W każdej roli, od wikinga po papieża wklejał twarz pigmentododatniej osoby.
- 6 0
-
2024-03-13 20:17
(1)
"Qra" czy "kura" ... to brzmi dumnie ;)
- 1 0
-
2024-03-14 13:11
miał być Qń
ale to pociągowe
- 0 0
-
2024-03-14 05:41
Ta QRA to pseudonim Jacka Kurskiego?
- 1 0
-
2024-03-14 13:10
a ja mam pytanie - to wyprodukuje z prądu ogromne ilosci ciepła (1)
czy to ciepło pójdzie w kosmos czy będzie zagospodarowane?
- 4 1
-
2024-03-20 10:28
Basen dla Wrzeszcza
Glosuje za tym, żeby zrobic basen obok i podgrzewac wode, lub CO.
- 0 0
-
2024-03-14 17:40
Buahahahahaha, obudzili się, wielcy naukowcy
Ciekawe ile milionów wyciągnęli na tym grancie, z którego i tak nie będzie nic poza wnioskiem, że prace powinny być kontynuowane
- 2 1
Portal trojmiasto.pl nie ponosi odpowiedzialności za treść opinii.