Вопрос Что делать с знаками пунктуации в word2vec natasha/navec python?

[genarospirito]

Что делать с знаками пунктуации в word2vec natasha/navec python?

 

[Kruts]

За Кону тян лайк

 

[алекс123]

В word2vec модели natasha/navec на Python знаки пунктуации обычно игнорируются во время обработки текста. Это обычная практика при обучении моделей на больших корпусах текста. Если вам нужно сохранить знаки пунктуации, вы можете предварительно обработать текст, чтобы их сохранить, или использовать другую модель, которая учитывает знаки пунктуации в своей обработке.

 

[Klark9898]

прочитайте документацию к данной модификации, там всегда есть как и где ставить знаки пунктуации

 

[vladik1999123]

Послать их нахцй

 

[опель]

В обработке естественного языка знаки пунктуации могут быть обработаны по-разному, в зависимости от целей и задачи. В случае с word2vec и другими методами векторного представления слов, знаки пунктуации могут быть удалены из текста перед обучением модели, чтобы сосредоточиться на словах и их семантике. Однако, в некоторых случаях знаки пунктуации могут быть полезными для понимания контекста и смысла предложения, поэтому они могут быть оставлены в тексте и обработаны как отдельные токены.

В случае с библиотекой Navec, которая является библиотекой предварительно обученных векторных представлений слов для русского языка, знаки пунктуации не включены в словарь¹. Это означает, что при использовании этой библиотеки знаки пунктуации не будут иметь соответствующих векторных представлений и не будут учитываться при вычислении семантической близости слов. Если вы хотите использовать знаки пунктуации в своей работе с Navec, вы можете обработать их самостоятельно, например, удалить из текста или заменить на специальные токены.