2021-08-31から1日間の記事一覧
では、今回はいろんな論文に登場するBPEについて見ていきたいと思います! こいつはTokenzierとしてよく使うsentence pieceの元となった論文ですな。 ちなみにsentece pieceとbpeの違いは、sentence pieceはユニグラム言語モデルっていうやつを使って、subwo…
では、今回はいろんな論文に登場するBPEについて見ていきたいと思います! こいつはTokenzierとしてよく使うsentence pieceの元となった論文ですな。 ちなみにsentece pieceとbpeの違いは、sentence pieceはユニグラム言語モデルっていうやつを使って、subwo…